Beneath the Surface: Investigating LLMs' Capabilities for Communicating with Subtext

1. Problema e Motivação

A comunicação humana é fundamentalmente criativa e frequentemente depende do subtexto: significados implícitos que vão além do conteúdo literal do texto. Exemplos incluem alegorias literárias (como A Revolução dos Bichos de Orwell), ironia social e comunicação estratégica em jogos.

O problema central investigado é: Os Grandes Modelos de Linguagem (LLMs) atuais conseguem utilizar e interpretar subtexto em contextos comunicativos?
Embora trabalhos anteriores tenham sugerido que LLMs tendem a ser excessivamente literais e explícitos, não existiam até então ambientes padronizados e quantitativos para medir essa capacidade de forma sistemática. A falta de subtexto limita a capacidade dos modelos de atuar como agentes sociais realistas, capazes de negociação, criatividade e teoria da mente (inferir estados mentais de outros).

2. Metodologia

Os autores propuseram quatro novos ambientes de avaliação (suites) divididos em duas categorias principais: Comunicação Social Multiagente e Narrativa/Alegoria.

A. Jogos de Comunicação Social Multiagente

Baseados nas regras de jogos de tabuleiro como Dixit e Wavelength, estes ambientes testam a capacidade de um agente (remetente) de enviar uma mensagem que seja compreendida apenas por um subconjunto específico de receptores (audiência-alvo), enquanto permanece obscura para outros.

1. Visual Allusions (Alusões Visuais):

   • Mecânica: Inspirado em Dixit. Um jogador (contador de histórias) escolhe uma carta com uma imagem abstrata e fornece uma dica de texto. Outros jogadores tentam adivinhar a carta.
   • Objetivo: O contador de histórias pontua apenas se alguns, mas não todos, os outros jogadores adivinharem a carta correta. Isso exige que a dica seja sutil o suficiente para enganar alguns, mas clara o suficiente para outros.
   • Variáveis: Testou-se o uso de "terreno comum" (common ground), onde dois jogadores compartilham um conjunto de histórias que os outros não conhecem, permitindo criar referências exclusivas.

2. Attuned (Sintonizado):

   • Mecânica: Inspirado em Wavelength. Dois times competem. O remetente escolhe um ponto em um espectro (ex: "Efêmero" a "Permanente") e dá uma dica.
   • Objetivo: A equipe do remetente deve adivinhar o ponto mais próximo do alvo do que a equipe adversária. Isso exige que a dica seja interpretada corretamente apenas pelo time aliado, usando conhecimento compartilhado.

B. Compreensão e Geração de Narrativas

3. Historical Allegories (Alegorias Históricas):

   • Tarefa: Avaliar a capacidade de LLMs de interpretar histórias fictícias que aludem a eventos históricos reais sem mencioná-los explicitamente.
   • Variáveis: Testou-se como fatores paratextuais (nome do autor, biografia do leitor, papel do leitor como crítico, historiador ou leitor comum) influenciam a interpretação do subtexto.

4. The Aesopian Author (O Autor Esopiano):

   • Mecânica: Um ambiente complexo onde um agente "autor" deve escrever histórias sobre um tópico proibido (ex: democracia) de forma que um "crítico cultural" (aliado) entenda a mensagem real, mas um "inquisidor estatal" (adversário) interprete a história como sendo sobre um tópico encorajado (ex: louvor ao monarca).
   • Desafio: O autor deve gerenciar a assimetria de informação e construir subtexto ao longo de múltiplas rodadas para evitar "punições" (strikes) do inquisidor.

3. Principais Resultados

A. Tendência à Literalidade

• Viés Explícito: Os modelos de ponta (frontier models) exibem um forte viés para comunicação literal e explícita.
• Visual Allusions: Mesmo o melhor modelo testado, o Gemini-2.5-Pro, gerou dicas "óbvias" (entendidas por todos os jogadores) em 60% das vezes, falhando em criar o subtexto necessário para pontuar.
• Desempenho Geral: A maioria dos modelos falha em considerar restrições sutis, gerando dicas que não conseguem distinguir entre a audiência-alvo e os demais jogadores.

B. Uso de Terreno Comum (Common Ground)

• Melhora Parcial: Quando os modelos têm acesso explícito a um conjunto de histórias compartilhadas com um parceiro, eles conseguem reduzir a frequência de dicas óbvias em 30%-50%.
• Limitação de Inferência: Os modelos têm dificuldade em inferir a existência de um terreno comum quando não é explicitamente declarado. Eles não conseguem deduzir que outro agente compartilha o mesmo conhecimento apenas observando o comportamento, falhando em adaptar sua estratégia sem instruções diretas.

C. Interpretação de Alegorias e Fatores Paratextuais

• Influência do Contexto: Fatores paratextuais, como o nome do autor ou a identidade do leitor, alteram significativamente a interpretação do subtexto.
• Exemplo: No modelo GPT-5, a precisão na identificação da alegoria histórica aumentou de 45% para 61% quando o nome do autor (que indicava o contexto cultural) foi fornecido, mesmo sem instrução explícita para buscar conexões históricas.
• Papel do Historiador: Modelos com a persona de "historiador" tiveram desempenho superior, mas a capacidade de inferir subtexto em personas neutras (como "leitor profundo") variou muito.

D. O Desafio do Autor Esopiano

• Dificuldade Extrema: Este foi o ambiente mais desafiador. Mesmo os melhores modelos alcançaram o objetivo de sucesso (enganar o inquisidor e agradar o crítico) apenas 22% das vezes.
• Falha na Estratégia: Os modelos tendem a tornar a mensagem proibida muito explícita, permitindo que o inquisidor detecte a transgressão. O GPT-5 mostrou a melhor estratégia, tentando escrever histórias conformistas inicialmente para ganhar confiança, mas ainda falhou consistentemente em manter o subtexto sutil.

4. Contribuições Chave

1. Novos Benchmarks: Introdução de quatro ambientes de avaliação quantitativos e dinâmicos para medir o uso de subtexto, superando a dependência de anotações humanas subjetivas.
2. Métricas Específicas: Definição de métricas como "Spark Coefficient" (para medir comunicação exclusiva entre pares) e taxas de dicas "óbvias" vs. "justas" (just-right).
3. Análise de Limitações: Demonstração empírica de que, embora os modelos maiores (como Gemini-2.5-Pro e GPT-5) superem os menores, eles ainda carecem de uma "Teoria da Mente" robusta para inferir crenças compartilhadas não declaradas e gerenciar a ambiguidade necessária para o subtexto.
4. Recurso Aberto: Os autores planejam liberar o código dos ambientes e das avaliações para fomentar pesquisas futuras.

5. Significado e Implicações

• Pragmática e Teoria da Mente: O trabalho sugere que os LLMs atuais têm dificuldades significativas em raciocínio pragmático recursivo (pensar sobre o que o outro está pensando). Eles falham em modelar as crenças e intenções de outros agentes de forma implícita.
• Criatividade Social: A incapacidade de usar subtexto limita a aplicação de LLMs em cenários sociais complexos, como negociação, diplomacia e criação artística colaborativa.
• Riscos de Segurança (Dual-Use): A capacidade de usar subtexto é uma faca de dois gumes. Embora seja essencial para a criatividade e a comunicação humana, ela também pode ser usada para engano, steganografia (esconder mensagens em texto) e para contornar filtros de segurança (jailbreaking) ao transmitir informações proibidas de forma implícita. O artigo defende que avaliar essa capacidade é crucial para entender os riscos, mas alerta contra o treinamento explícito de modelos para dominar o subtexto, o que poderia aumentar riscos de alinhamento.

Em resumo, o estudo revela que, embora os LLMs de ponta estejam evoluindo, eles ainda operam predominantemente em um nível literal, falhando em capturar a nuance e a complexidade da comunicação humana baseada em subtexto e terreno comum implícito.