Figurative and Cultural Knowledge in LLMs: Investigating Cross-Domain Transfer through Fine-Tuning
Este artigo investiga se o ajuste fino em dados culturais aprimora a compreensão de linguagem figurada em LLMs, constatando que, embora o treinamento em poesia melhore a compreensão de expressões idiomáticas de maneira transferível, o ajuste fino cultural frequentemente degrada a interpretação de provérbios e revela uma relação complexa e não linear entre a imersão cultural e a aquisição de linguagem figurada que não pode ser capturada de forma direta apenas através do ajuste fino.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
A linguagem é mais do que um conjunto de regras para organizar palavras; é um arquivo vivo da história, dos valores e das experiências compartilhadas de uma comunidade. Isso é especialmente verdadeiro para a linguagem figurada — os idiomas, provérbios e a poesia que dependem do contexto cultural para fazer sentido. Uma frase como "está chovendo gatos e cães" não significa nada para alguém que nunca ouviu a expressão, mas para um falante nativo, ela evoca instantaneamente uma imagem específica de chuva forte. Para a inteligência artificial, que aprende processando vastas quantidades de texto, dominar esse tipo de linguagem é um obstáculo significativo. Embora os modelos de IA modernos possam ler e escrever com fluência, eles frequentemente lutam para compreender os significados mais profundos e não literais que estão tecidos na estrutura de uma cultura. A questão que os pesquisadores há muito tempo se fazem é se ensinar uma IA sobre a vida cotidiana e as tradições de uma cultura ajudaria a entender suas metáforas, ou se aprender a interpretar metáforas ajudaria a compreender fatos culturais.
Uma equipe de pesquisadores partiu para testar essa conexão usando o árabe, uma língua rica em diversos dialetos e uma profunda tradição literária. Eles trabalharam com quatro modelos de linguagem de grande escala diferentes, que são os poderosos sistemas computacionais que impulsionam muitas aplicações de IA modernas. Para ver se o conhecimento cultural e a compreensão figurada estão interligados, os pesquisadores conduziram uma série de experimentos controlados. Eles pegaram esses modelos e lhes deram treinamento adicional, ou "ajuste fino" (fine-tuning), em tipos específicos de dados. Em um grupo, alimentaram os modelos com milhares de exemplos de conhecimento cultural, como fatos sobre costumes sociais, práticas regionais e a vida cotidiana em todo o mundo árabe. Em outro grupo, treinaram os modelos em linguagem figurada, usando conjuntos de dados repletos de provérbios, expressões idiomáticas e poesia. Eles também incluíram um grupo de controle treinado em gramática geral do árabe para garantir que quaisquer mudanças fossem devidas ao conteúdo específico do treinamento e não apenas ao ato de aprender mais árabe.
Os resultados revelaram um quadro complexo e um tanto surpreendente. Os pesquisadores descobriram que ensinar um modelo sobre cultura não o tornava automaticamente melhor em compreender expressões idiomáticas ou provérbios. Na verdade, para modelos que já eram especializados em árabe, o treinamento em dados culturais às vezes piorava seu desempenho. Esses modelos, que provavelmente já haviam absorvido uma grande quantidade de conhecimento cultural durante seu treinamento inicial, pareciam ficar confusos quando expostos a um conjunto de fatos culturais mais estreito e curado. Por outro outro lado, o treinamento de modelos em dados culturais também não os ajudou a responder perguntas gerais sobre fatos culturais. Os dois tipos de conhecimento — fatos culturais e significado figurado — não pareciam se apoiar da maneira que os pesquisadores esperavam.
No entanto, houve uma clara exceção que se destacou. Quando os pesquisadores treinaram os modelos especificamente em poesia, os modelos tornaram-se significativamente melhores em compreender expressões idiomáticas. Essa melhoria foi mensurável e estatisticamente confiável, com um modelo específico mostrando um salto notável em precisão. Crucialmente, esse ganho não ocorreu quando os modelos foram treinados em textos gerais de árabe ou gramática, o que sugere que a melhoria veio do próprio conteúdo poético, e não apenas de ver mais palavras árabes. A poesia, com sua dependência de imagens, ritmo e significado não literal, parece ter ensinado aos modelos uma habilidade mais ampla: a capacidade de reconhecer e interpretar o significado que vai além da definição literal das palavras. Essa habilidade transferiu-se com sucesso para as expressões idiomáticas, embora a poesia e as expressões idiomáticas sejam formas de expressão diferentes.
O estudo também destacou que os resultados dependiam fortemente de qual modelo estava sendo usado. Os modelos que foram projetados especificamente para a língua árabe começaram com uma base de conhecimento mais alta e frequentemente regrediram, ou tiveram um desempenho pior, após serem submetidos ao ajuste fino com novos dados. Isso sugere que eles já haviam aprendido o máximo que podiam a partir dos materiais de treinamento disponíveis. Em contraste, modelos multilíngues, que são treinados em muitas línguas, mostraram mais espaço para aprender e melhoraram de forma mais consistente quando expostos a novos dados. Quando os pesquisadores analisaram detalhadamente os erros, descobriram que o treinamento tendia a reforçar o conhecimento sobre coisas cotidianas e experienciais, como comida, jogos e celebrações, enquanto por vezes enfraquecia a compreensão dos modelos sobre fatos históricos ou detalhes políticos específicos.
Em última análise, a pesquisa sugere que a relação entre cultura e linguagem figurada não é um interruptor simples que pode ser acionado ao alimentar uma IA com mais dados. Embora os dois estejam profundamente conectados na experiência humana, ensinar uma inteligência artificial um deles não garante que ela domine o outro. A única ponte confiável encontrada neste estudo foi da poesia para as expressões idiomáticas, indicando que a exposição ao lado artístico e não literal de uma língua pode ajudar um modelo a navegar em sua paisagem metafórica. Por enquanto, o caminho para uma inteligência artificial verdadeiramente consciente da cultura permanece irregular, exigindo mais do que uma simples transferência de conhecimento de um domínio para outro.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.