💻 computer science

Evaluating Large language models on Understanding Korean indirect Speech acts

Este estudo avalia a capacidade de vários grandes modelos de linguagem de compreender atos de fala indiretos em coreano ao construir um conjunto de dados especializado e empregar avaliações tanto automatizadas quanto humanas, revelando que, embora modelos proprietários como o Claude3-Opus superem as alternativas de código aberto, nenhum ainda iguala a proficiência de nível humano na interpretação de intenções dependentes de contexto.

Autores originais: Youngeun Koo, Jiwoo Lee, Dojun Park, Seohyun Park, Sungeun Lee

Publicado 2026-08-10

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Youngeun Koo, Jiwoo Lee, Dojun Park, Seohyun Park, Sungeun Lee

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está conversando com um amigo e ele diz: "Está congelando aqui dentro". Se você estiver ao lado de um ar-condicionado quebrado, ele provavelmente está apenas constatando um fato. Mas se você estiver sentado em uma sala de estar quente com as janelas fechadas, ele provavelmente está dando uma indireta: "Por favor, feche a janela" ou "Aumente o aquecimento". Essa lacuna entre o que as palavras dizem literalmente e o que elas realmente significam é o ingrediente secreto da conversa humana. No mundo da ciência, isso é chamado de pragmática: o estudo de como o contexto altera o significado. Embora os computadores tenham se tornado incrivelmente bons em traduzir idiomas ou resolver problemas matemáticos, eles frequentemente lutam com essa habilidade de "ler nas entrelinhas". Eles podem interpretar sua indireta literalmente e apenas dizer: "Sim, a temperatura está baixa", perdendo o ponto principal. Isso é importante porque, à medida que começamos a confiar em assistentes de IA para tudo, desde agendar reuniões até dar conselhos, precisamos que eles entendam não apenas nossas palavras, mas nossas intenções.

Este artigo é como uma história de detetive onde pesquisadores colocaram um grupo de modelos de Inteligência Artificial (IA) à prova para ver se eles conseguem decifrar o código das indiretas. Os cientistas focaram no coreano, um idioma onde o contexto é rei, e construíram um questionário especial baseado em uma teoria clássica de como os humanos usam a linguagem. Eles criaram 240 cenários onde a mesma frase poderia significar duas coisas muito diferentes dependendo da situação. Por exemplo, dizer "O gelo é fino" pode ser um fato simples, ou pode ser um aviso para as crianças não pisarem em um lago congelado. Os pesquisadores queriam ver se a IA conseguiria distinguir entre uma afirmação direta e um pedido indireto, uma promessa ou uma expressão de emoção.

Os resultados foram uma mistura de "nada mal" e "ainda há um longo caminho a percorrer". Os pesquisadores testaram 12 modelos de IA diferentes, variando de sistemas massivos e caros a modelos menores e de código aberto. O vencedor claro foi um modelo chamado Claude3-Opus. Ele pontuou cerca de 71,94% em um teste de múltipla escolha e 65% em um teste mais aberto, onde precisava explicar seu raciocínio. Embora isso seja impressionante, é importante notar que nem mesmo o melhor modelo de IA venceu os humanos. Os participantes humanos do estudo pontuaram em torno de 77,64%, provando que as pessoas ainda são as mestras em entender nuances sociais sutis.

O estudo descobriu que a maioria dos modelos de IA é ótima em entender as coisas literalmente, mas terrível em adivinhar o significado oculto. Se uma frase fosse um pedido direto, a IA o acertava na maioria das vezes. Mas quando o pedido era indireto — como dizer "Está agradável lá fora" para sugerir um passeio em vez de apenas falar sobre o tempo — a maioria dos modelos tropeçava. Eles tendiam a ficar presos ao significado literal das palavras. Curiosamente, os modelos de IA foram surpreendentemente bons em entender elogios indiretos ou expressões idiomáticas (como dizer que alguém é um "chef" porque cozinhou uma ótima refeição), mas tiveram mais dificuldade com pedidos indiretos.

Os pesquisadores também notaram alguns comportamentos peculiares na forma como a IA se comportava. Alguns modelos menores, ao serem solicitados a responder em coreano, respondiam acidentalmente em inglês, como se estivessem confusos sobre com quem estavam falando. Outros tentavam forçar respostas de múltipla escolha mesmo quando a pergunta pedia uma explicação de texto livre, como se estivessem tentando burlar um teste que já tinham visto antes. O artigo sugere que, embora esses modelos de IA sejam poderosos, eles ainda carecem da compreensão profunda e intuitiva do contexto humano que até mesmo um adolescente possui. Eles são como alunos que memorizaram o dicionário, mas ainda não aprenderam como ter uma conversa real. O estudo conclui que, para tornar a IA verdadeiramente útil, precisamos ensiná-la a olhar além da superfície das palavras e compreender o mundo desordenado e cheio de contextos da intenção humana.

Resumo Técnico: Avaliando Grandes Modelos de Linguagem na Compreensão de Atos de Fala Indiretos em Coreano

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado uma proficiência notável em tarefas tradicionais de Processamento de Linguagem Natural (NLP), como categorização, tradução e raciocínio lógico, sua capacidade de compreender intenções humanas em contextos conversacionais permanece subavaliada. Os benchmarks atuais focam predominantamente no processamento de conhecimento e significados literais explícitos, negligenciando frequentemente a pragmática — o estudo do uso da linguagem dentro de contextos específicos.

Existe uma lacuna crítica na avaliação de quão bem os LLMs compreendem atos de fala indiretos, onde a intenção real do falante difere do significado literal do enunciado. Isso é particularmente desafiador no coreano, uma língua de alto contexto onde informações de base compartilhadas e pistas situacionais são essenciais para uma comunicação eficaz. As avaliações existentes raramente abordam a nuance de distinguir entre intenções diretas e indiretas com base no contexto conversacional, uma capacidade crucial para LLMs que atuam como agentes pessoais na vida cotidiana.

Metodologia

Construção do Dataset

Os autores construíram um dataset de avaliação especializado consistindo em 240 itens em coreano, fundamentado na Teoria dos Atos de Fala de Searle. O dataset categoriza os atos de fala em cinco tipos (Representativos, Diretivos, Comissivos, Expressivos, Declarativos) e foca em três tipos específicos de atos de fala indiretos, onde uma sentença declarativa (Representativa) realiza um ato ilocucionário diferente:

ReDi (Representativo $\to$ Diretivo): Uma afirmação factual usada para sugerir ou solicitar uma ação (ex: "Está agradável lá fora" implicando "Vamos sair").
ReCo (Representativo $\to$ Comissivo): Uma afirmação factual usada para fazer uma promessa ou compromisso.
ReEx (Representativo $\to$ Expressivo): Uma afirmação factual usada para expressar emoção ou elogio.

Para testar a dependência de contexto, o dataset pareia 80 itens para cada tipo em 40 pares. Em cada par, o mesmo enunciado é apresentado em dois cenários diferentes: um onde funciona como um ato de fala direto e outro onde funciona como um ato de fala indireto.

Modelos Avaliados

O estudo avaliou 12 LLMs, divididos em duas categorias:

Modelos Proprietários (8): GPT-3.5, GPT-4, Claude3-Haiku, Claude3-Sonnet, Claude3-Opus, Mistral-small, Mistral-medium e Mistral-large.
Modelos de Código Aberto (4): Llama3-8B, Qwen1.5-14B, Solar-10.7B e T3Q-ko-solar (uma versão do Solar ajustada para o coreano).

Configuração Experimental

Dois setups experimentais foram empregados para avaliar o desempenho:

Questão de Múltipla Escolha (MCQ): Os modelos recebem um contexto e um enunciado e são solicitados a selecionar a intenção do ato de fala correta entre quatro opções (uma correta, uma de tipo "oposto" e duas de tipos aleatórios). O desempenho foi medido pela taxa de concordância (acurácia) ao longo de três tentativas por item.
Questão de Resposta Aberta (OEQ): Os modelos são solicitados a descrever a intenção do enunciado. As respostas foram pontuadas qualitativamente por avaliadores humanos em uma escala de 1 a 5, baseada na precisão da intenção inferida e do significado literal, sendo então reescalonadas para 0–100.

Baseline Humano

Para estabelecer um Padrão de Ouro (Gold Standard), 52 participantes humanos (com idade entre 20 e 30 anos, diversas formações acadêmicas, excluindo estudantes de linguística) completaram o mesmo teste MCQ. Esses dados servem como o benchmark para comparar o desempenho do LLM contra a competência pragmática humana.

Principais Contribuições

Desenvolvimento de um Conjunto de Testes de Compreensão de Atos de Fala: Um dataset especializado e publicamente disponível projetado para avaliar a capacidade dos LLMs de interpretar três categorias de atos de fala indiretos dentro de estruturas contextuais em coreano.
Coleta de Dados de Referência Humana: O estabelecimento de um baseline de desempenho humano (Padrão de Ouro) para quantificar a lacuna entre os LLMs atuais e a compreensão pragmática de nível humano.
Avaliação e Análise Sistemática: Uma avaliação abrangente de 12 LLMs usando tanto os formatos MCQ quanto OEQ, incluindo uma análise detalhada do desempenho através de diferentes tipos de atos de fala (ReDi, ReCo, ReEx) e uma comparação com a compreensão de implicaturas conversacionais.

Resultados

Desempenho Geral

Superioridade Humana: Os participantes humanos alcançaram uma pontuação média de MCQ de 77,64, superando significativamente todos os LLMs avaliados.
Ranking de Modelos: O Claude3-Opus emergiu como o modelo de melhor desempenho, com uma pontuação de MCQ de 71,94 e uma pontuação de OEQ de 90,37. Foi o único modelo a mostrar uma acurácia equilibrada para atos diretos e indiretos, com uma diferença de apenas 5,55% (69,17 para diretos vs. 74,72 para indiretos).
Proprietários vs. Código Aberto: Modelos proprietários geralmente superaram os modelos de código aberto. Entre os modelos de código aberto, o Solar-10.7B teve o melhor desempenho (65,0 em MCQ), enquanto o T3Q-ko-solar (ajustado/fine-tuned) na verdade mostrou uma queda de desempenho em comparação ao modelo base Solar em inferência baseada em contexto.
Lacuna Direto vs. Indireto: A maioria dos LLMs (exceto o Claude3-Opus) demonstrou um desempenho significativamente inferior em atos de fala indiretos comparado aos diretos. Por exemplo, o GPT-3.5 pontuou 63,61 em atos diretos, mas apenas 36,67 em atos indiretos.

Análise por Tipo de Ato de Fala

ReEx (Expressivo): Tanto humanos quanto LLMs alcançaram as pontuações mais altas neste tipo, provavelmente devido à prevalência de expressões idiomáticas no dataset que os modelos aprenderam bem.
ReDi (Diretivo): Esta foi a categoria mais desafiadora para todos os modelos. Sentenças declarativas que afirmam fatos (ex: "Está esgotado") foram frequentemente interpretadas erroneamente como provisão de informação, em vez de pedidos/sugestões indiretas.
ReCo (Comissivo): O desempenho foi intermediário, situando-se entre ReDi e ReEx.

Achados Qualitativos (OEQ)

O Claude3-Opus demonstrou um raciocínio sofisticado, frequentemente fornecendo explicações detalhadas e formatos de lista para justificar suas interpretações.
O Llama3 exibiu um desalinhamento significativo, gerando frequentemente respostas em inglês, apesar dos prompts em coreano, e produzindo tokens ilegíveis.
O Solar mostrou sinais de overfitting aos benchmarks de MCQ, frequentemente gerando suas próprias opções de múltipla escolha (A, B, C) mesmo em tarefas de resposta aberta, um comportamento não típico da resolução de problemas humanos.

Correlação com Implicatura

O estudo encontrou uma correlação moderada (0,67) entre a compreensão de atos de fala e a compreensão de implicaturas conversacionais. No entanto, a correlação foi maior (0,73) especificamente para atos de fala indiretos, sugerindo que os mecanismos para interpretar intenções indiretas e implicaturas conversacionais estão intimamente relacionados, particularmente no que diz respeito à máxima de relação de Grice.

Significância e Alegações

Os autores alegam que este estudo fornece uma avaliação pragmática necessária dos LLMs, indo além dos benchmarks baseados em conhecimento para avaliar o "nível mais alto de habilidade linguística": a competência pragmática.

Limitações Atuais: O estudo conclui que, embora os LLMs estejam avançando, nenhum modelo atual atingiu o nível de desempenho humano na compreensão de atos de fala indiretos. A maioria dos modelos tem dificuldade em distinguir entre intenções literais e implícitas, particularmente quando o enunciado é uma afirmação factual usada para fazer um pedido.
Sensibilidade ao Contexto: Os resultados destacam que modelos treinados em grandes conjuntos de dados são excelentes no significado literal, mas frequentemente falham em inferir intenções mais profundas quando o significado literal é suficiente, mas contextualmente inapropriado.
Direções Futuras: Os autores enfatizam a necessidade de mais pesquisas para melhorar a compreensão dos LLMs sobre atos de fala indiretos para uma interação humano-computador mais natural. Eles propõem trabalhos futuros envolvendo conversas de múltiplos turnos simuladas e a expansão desses datasets para outros idiomas (Inglês, Chinês, Alemão) para validar a robustez através de contextos linguísticos.

O artigo posiciona-se como um passo fundamental para preencher a lacuna entre a modelagem de linguagem estatística e a verdadeira compreensão pragmática, argumentando que a avaliação rigorosa de atos de fala é essencial para a próxima geração de IA conversacional.