Resumo Técnico: "Don't Say It!": Restrições, Conformidade e Comunicação quando Modelos de Linguagem Jogam Tabu

1. Declaração do Problema

O jogo de Tabu exige que um jogador descreva uma palavra-alvo sem utilizar um conjunto específico de palavras proibidas, baseando-se em associações semânticas para permitir que um adivinhador identifique o alvo. Esta tarefa apresenta um desafio único para Grandes Modelos de Linguagem (LLMs) porque demanda a satisfação simultânea de dois objetivos concorrentes:

1. Restrições Lexicais Estritas: O modelo deve suprimir palavras lexical e conceitualmente salientes (a lista proibida) e suas variantes morfológicas.
2. Eficácia Comunicativa: O modelo deve gerar uma descrição suficientemente informativa para evocar o conceito alvo para um adivinhador humano ou de máquina.

Benchmarks atuais frequentemente testam o seguimento de instruções de forma isolada. Este artigo investiga se os LLMs conseguem navegar no equilíbrio entre a conformidade com as regras e a utilidade comunicativa em um cenário que exige "ancoragem lexical sob restrição". Os autores questionam especificamente se as descrições geradas sob restrição são detalhadas o suficiente para serem úteis e se as estratégias adotadas pelos modelos alinham-se com os processos cognitivos humanos no jogo.

2. Metodologia

2.1. Dados e Modelos

• Dataset: O estudo utiliza 194 cartas de Tabu em italiano transcritas manualmente de um jogo de tabuleiro físico. Cada carta contém uma palavra-alvo e cinco palavras proibidas.
• Modelos: Dois modelos de pesos abertos foram avaliados:
  • google/gemma-3-4b-it: Um modelo leve ajustado para instrução, selecionado por seu desempenho geral e compatibilidade com Autoencoders Esparsos (SAEs) pré-treinados para experimentos de interpretabilidade.
  • openai/gpt-oss-20b: Um modelo de raciocínio do tipo Mixture-of-Experts pós-treinado com Cadeia de Pensamento (CoT) por reforço. Foi avaliado tanto com quanto sem raciocínio explícito para avaliar o papel da deliberação na adesão às restrições.

2.2. Condições Experimentais (Níveis de Intervenção)

Os autores investigaram três níveis distintos de intervenção para impor restrições:

1. Prompting (Nível de Instrução): O modelo é instruído via prompt do usuário a evitar a palavra-alvo e a lista de palavras proibidas (incluindo derivados morfológicos). O prompt solicita explicitamente uma descrição com menos de 30 palavras e sem texto circundante.
2. Restrições no Momento da Geração (Nível de Decodificação):
   • Censura de Radicais A Priori: Antes da geração, um conjunto estático de tokens proibidos é computado com base nos radicais das palavras proibidas. Os logits para esses tokens são mascarados para $-\infty$ em cada etapa de decodificação.
   • Geração com Restrição em Tempo de Inferência: Uma abordagem dinâmica onde o modelo gera livremente até que uma palavra completa correspondente a um radical proibido seja detectada. A geração então retrocede ao início da palavra ofensiva, que é adicionada a uma máscara persistente de nível de posição, e a geração recomeça com o token suprimido.
3. Manipulações do Modelo (Nível de Representação):
   • Direcionamento por SAE: Utilizando Autoencoders Esparsos (SAEs), os autores identificaram características no fluxo residual (Camada 29) mais fortemente associadas a cada palavra proibida. Durante a geração, uma intervenção de escala de norma de ativação foi aplicada para direcionar o fluxo residual para longe dessas direções de características, suprimindo os conceitos subjacentes sem modificar os pesos do modelo ou mencionar explicitamente as palavras proibidas no prompt.

2.3. Métricas de Avaliação

• Conformidade:
  • Acurácia: Porcentagem de saídas com zero violações (verbatim ou morfológicas).
  • Tipos de Violação: Parcela de violações exatas, violações morfológicas e "vazamentos do alvo" (uso acidental da palavra-alvo).
  • No : Taxa de exaustão do orçamento de raciocínio para o modelo GPT.
• Eficácia Comunicativa:
  • LLM-como-Juiz: Dois modelos (Gemma e GPT) atuaram como juízes, lendo as descrições e adivinhando o alvo. A eficácia foi medida pelo Pass@k (se o primeiro token do alvo está entre os top-k previsões) e pela Verossimilhança de token bruto (Raw token likelihood).
  • Avaliação Humana: 8 anotadores participaram de duas fases:
    • Adivinhação: Anotadores adivinharam alvos a partir de descrições geradas por modelos.
    • Descrição: Anotadores geraram descrições sob condições "espontâneas" (estilo oral) e "deliberadas" (escrita) para servir como uma linha de base para o desempenho do modelo.

3. Resultados Principais

3.1. Conformidade de Restrição

• Prompting: Melhorou significativamente a conformidade em relação à linha de base não restrita. O Gemma-3-4b-it atingiu 91,2% de acurácia; o GPT-oss-20b com raciocínio atingiu 97,4%. O raciocínio ajudou o GPT a suprimir palavras literais, mas foi menos eficaz contra variantes morfológicas.
• Geração com Restrição: Alcançou conformidade quase perfeita. O Gemma-3-4b-it atingiu 98,5% (a priori) e 96,4% (online). O GPT-oss-20b com raciocínio atingiu 92,3% (a priori), mas caiu para 87,1% (online), com uma taxa maior de vazamentos da palavra-alvo.
• Direcionamento por SAE: Teve desempenho insatisfatório na conformidade (55,7%), significativamente inferior ao prompting e à geração com restrição. Isso sugere que o direcionamento no nível de representação sozinho não consegue impor de forma confiável restrições lexicais de superfície.

3.2. Eficácia Comunicativa (Informatividade)

• Trade-offs: O método de imposição da restrição moldou a qualidade da descrição.
  • O Prompting tendeu a produzir descrições excessivamente cautelosas e informacionalmente escassas.
  • A Geração com Restrição forçou o modelo em direção a paráfrases semanticamente mais precisas, resultando em pontuações Pass@10 mais altas para os juízes em comparação ao prompting.
  • O Direcionamento por SAE mostrou uma dissociação marcante: apesar da baixa conformidade, produziu descrições competitivamente informativas (Pass@10 de até 21,1%), sugerindo que bloquear tokens de superfície impõe um custo descritivo que a intervenção de nível de representação evita.
• Sensibilidade do Juiz: Os dois modelos juízes diferiram significamente em sensibilidade. O GPT-oss-20b atribuiu probabilidade próxima de zero aos alvos em quase todas as condições, enquanto o Gemma-3-4b-it foi mais generoso, embora ambos concordassem na ordenação relativa dos métodos.

3.3. Desempenho do Modelo vs. Humano

• Assimetria na Adivinhação: Os modelos tiveram desempenho substancialmente inferior aos humanos como adivinhadores.
  • Anotadores humanos atingiram 30,77% de acurácia adivinhando a partir de descrições de modelos.
  • Juízes de modelos (mesmo o Gemma-3-4b-it) exigiram de 5 a 10 palpites (Pass@5 a Pass@10) para se aproximarem da acurácia que os humanos alcançaram com apenas 1 palpite (Pass@1) em descrições humanas.
  • O GPT-oss-20b como juiz atribuiu probabilidade próxima de zero aos alvos corretos em quase todos os casos.
• Assimetria na Descrição:
  • Para modelos, o raciocínio (CoT) melhorou significativamente a conformidade (72,2% vs 97,4% para o GPT).
  • Para humanos, descrições orais espontâneas renderam maior acurácia de adivinhação (95%) do que descrições escritas deliberadas (85%), provavelmente devido à refinamento interativo e em tempo real possível na comunicação oral, que a geração de texto estática carece.

4. Contribuições e Significância

Principais Contribuições

1. Framework de Restrição Multinível: O artigo compara sistematicamente estratégias de imposição de restrição através de três níveis do processo generativo: prompting, mascaramento no tempo de decodificação e manipulação de representação interna (SAEs).
2. Avaliação Bidirecional Humano-Modelo: Ao contrário de estudos anteriores que dependem apenas de métricas automáticas, este trabalho fundamenta a avaliação no gameplay real ao inverter os papéis: humanos adivinham descrições de modelos, e modelos adivinham descrições humanas.
3. Caracterização de Trade-offs: O estudo demonstra que conformidade de regra e eficácia comunicativa não são controláveis independentemente. O mecanismo usado para impor uma restrição (instrução vs. decodificação vs. representação) altera fundamentalmente a natureza do output, criando trade-offs distintos entre segurança (evitar palavras proibidas) e utilidade (evocar o alvo).

Significância e Alegações

Os autores afirmam que a ancoragem lexical sob restrição continua sendo um desafio aberto para os modelos de linguagem atuais.

• O "Gap de Adivinhação": A incapacidade dos modelos de adivinhar alvos a partir de descrições indiretas com a eficiência humana sugere que os LLMs carecem da mesma rede de associações lexicais salientes que tornam o Tabu intuitivo para humanos. Os autores sugerem que isso aponta para uma diferença entre o processamento associativo rápido de "Sistema 1" usado por humanos e o raciocínio deliberado de "Sistema 2" dos modelos.
• Limitações: Os autores notam modestamente que o benchmark é atualmente apenas em italiano, o conjunto de avaliação compartilhado é pequeno (10 palavras) e o direcionamento por SAE foi testado em apenas uma arquitetura. Eles também destacam que o estudo avalia os modelos em um cenário de turno único, enquanto o jogo original é inerentemente interativo.
• Direção Futura: O artigo argumenta que jogos como o Tabu constituem um testbed natural e pouco explorado para as capacidades dos modelos de linguagem, especificamente para sondar a adaptação pragmática e o ancoramento colaborativo em configurações multi-agente e multi-turno.