Unveiling the Limits of Large Language Models in Inferring Pragmatic Meaning from Non-Verbal Responses

Resumo Técnico: Revelando os Limites dos Grandes Modelos de Linguagem na Inferência de Significado Pragmático a partir de Respostas Não Verbais

Definição do Problema
Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado progressos significativos na compreensão da linguagem verbal e de fenômenos pragmáticos, como a implicatura e atos de fala indiretos, as pesquisas existentes têm negligenciado amplamente o papel do comportamento não verbal quando este opera de forma isolada. Na comunicação humana, pistas não verbais (ex.: silêncio, expressões faciais, gestos) frequentemente servem como os sinais exclusivos de intenção comunicativa, transmitindo significados indiretos sem acompanhamento verbal. As avaliações atuais avaliam primariamente os LLMs em entradas verbais ou tratam as pistas não verbais meramente como suporte contextual para o texto. Este estudo aborda a questão aberta de saber se os LLMs podem reconhecer e inferir a intenção indireta apenas por meio de respostas não verbais, uma capacidade crítica para uma interação humano-IA robusta onde a linguagem falada pode estar ausente ou limitada.

Metodologia
Os autores apresentam a primeira avaliação sistemática da capacidade dos LLMs de inferir significado pragmático a partir de respostas de diálogo compostas exclusivamente por elementos não verbais. O estudo é estruturado em torno de três questões de pesquisa: (1) Os LLMs conseguem reconhecer a intenção indireta em respostas não verbais? (2) Quando e como eles falham? (3) Como essa habilidade pode ser melhorada?

• Dados e Categorias: A avaliação utiliza um conjunto de dados customizado categorizando as respostas não verbais em três tipos: Silêncio (ausência deliberada de fala), Expressões Faciais (representadas via emojis Unicode) e Movimentos (ações descritivas entre parênteses).
• Design da Tarefa: Os modelos são apresentados com questões de múltipla escolha onde devem selecionar a opção que melhor interpreta o contexto e a intenção subjacente de uma conversa que termina em uma resposta não verbal. Os distratores são cuidadosamente projetados para incluir interpretações errôneas, explicações literais, descrições abstratas e respostas lexicalmente coerentes, mas semanticamente divergentes.
• Modelos Avaliados: Os experimentos abrangem 13 modelos de seis famílias (Qwen, Mistral, Llama, Phi e modelos baseados em API como GPT e Claude), variando de 3B a mais de 100 bilhões de parâmetros.
• Configurações Experimentais: A avaliação primária é conduzida em um cenário zero-shot. Análises adicionais incluem Chain-of-Thought (CoT), aprendizado em contexto (few-shot) e estudos de ablação removendo instruções contextuais explícitas. Uma linha de base humana foi estabelecida utilizando estudantes de graduação de diversas origens nacionais.

Principais Resultados

• Lacuna de Desempenho: Os LLMs exibem uma queda substancial de desempenho ao processar respostas não verbais em comparação com as verbais. Enquanto os modelos frequentemente alcançam precisão próxima à humana em atos de fala indiretos verbais, sua precisidade em tarefas não verbais cai em até 60 pontos percentuais.
• Dificuldade por Categoria: O desempenho varia por categoria. "Movimentos" gerou a maior precisão média (0,67), seguida por "Expressões Faciais" (0,51), com o "Silêncio" apresentando o pior desempenho (0,45). A categoria do silêncio provou ser particularmente desafiadora, com os modelos alcançando apenas 0,45 de precisão comparado a 0,91 para humanos.
• Escala e Família de Modelos: Tamanhos maiores de parâmetros geralmente correlacionam-se com melhor desempenho (ex.: modelos de 70B superando modelos de 3B), mas essa tendência não é universal para todas as famílias ou modelos baseados em API. Mesmo modelos avançados como GPT-4o e GPT-o3 enfrentam dificuldades, performando de forma comparável a modelos de código aberto de 14B nestas tarefas específicas.
• Análise de Erros: A principal fonte de erro é a "explicação abstrata", onde os modelos fornecem descrições vagas que falham em abordar a essência da intenção comunicativa. Isso é seguido pelas "interpretações literais". A análise sugere que os modelos tendem a focar em características superficiais em vez de inferir intenções latentes.
• Padrões Comportamentais: A análise camada a camada usando logit lenses revela que a capacidade de interpretar o contexto é estabelecida em camadas mais profundas. Predições corretas mostram convergência de confiança alta, enquanto erros frequentemente se manifestam como interpretações errôneas confiantes ou convergência instável e atrasada.
• Efeitos de Intervenção:
  • Chain-of-Thought (CoT): Os resultados foram mistos; embora alguns modelos (ex.: Llama-70B) tenham melhorado, outros (ex.: GPT-4o) mostraram degradação significativa, frequentemente recorrendo a interpretações literais.
  • Aprendizado em Contexto (In-Context Learning): O prompting de poucos disparos (few-shot) melhorou significavelmente o desempenho, particularmente para modelos maiores e modelos baseados em API, sugerindo que fornecer exemplos ajuda os modelos a alinhar pistas superficiais com intenções subjacentes.

Principais Contribuições

1. Avaliação Sistemática: Este trabalho fornece a primeira avaliação sistemática da capacidade dos LLMs de inferir a intenção subjacente de respostas de diálogo compostas exclusivamente por sinais não verbais.
2. Evidência Empírica de Limitações: Experimentos abrangentes em diversas famílias de modelos demonstram que os LLMs enfrentam desafios persistentes ao inferir significado a partir de pistas não verbais, resultando em um desempenho marcadamente diminuído em relação aos seus equivalentes verbais.
3. Insights Comportamentais e Mitigação: O estudo identifica padrões de erro específicos (abstração e literalismo) e demonstra que o aprendizado em contexto de poucos disparos pode aumentar substancialmente o alinhamento de pistas de nível superficial com intenções comunicativas.

Significância
O artigo argumenta que a compreensão precisa do comportamento não verbal é vital para avançar a competência pragmática dos LLMs, pois essas pistas são sinais comunicativos universalmente reconhecidos. Ao revelar que os modelos atuais lutam para interpretar a intenção indireta sem o suporte verbal, o estudo destaca uma lacuna crítica na geração atual de LLMs. Os achados sugerem que, embora os modelos possuam fortes capacidades de raciocínio verbal, eles carecem do embasamento necessário para interpretar sinais não verbais de forma independente. A demonstração de que o aprendizado em contexto pode mitigar esses problemas oferece um caminho para melhorar o alinhamento dos modelos com as normas comunicativas humanas em cenários multimodais ou apenas de texto, onde as pistas não verbais são o modo primário de expressão.

Limitações
Os autores observam que a avaliação é conduzida exclusivamente em inglês e baseia-se em inferências pragmáticas assumidas como transculturais. Além disso, o estudo foca em representações textuais de pistas não verbais em vez de entradas multimodais brutas (ex.: vídeo ou áudio), embora os autores postulem que o modelo de linguagem permanece o intérprete final da intenção, independentemente da modalidade de entrada.