SNEAK: Evaluating Strategic Communication and Information Leakage in Large Language Models

Título: SNEAK: Avaliando Comunicação Estratégica e Vazamento de Informação em Modelos de Linguagem Grandes

1. Problema e Motivação

Os Modelos de Linguagem Grandes (LLMs) estão sendo cada vez mais implantados em cenários de agentes múltiplos (colaborativos, assistentes, diálogos estratégicos). Nestes contextos, a comunicação frequentemente ocorre sob estados de informação heterogêneos: diferentes participantes possuem diferentes níveis de conhecimento ou acesso a informações.

O desafio central identificado pelos autores é a comunicação estratégica sob informação assimétrica: como um agente pode transmitir informações úteis a um colaborador que compartilha o contexto, enquanto impede que um adversário (ou observador não informado) infira detalhes sensíveis?

• Limitação Atual: A maioria dos benchmarks existentes (como MMLU, GSM8K) foca em conhecimento factual, raciocínio ou seguimento de instruções, assumindo um agente único com acesso total à informação. Eles não avaliam a capacidade do modelo de controlar a quantidade de informação revelada durante a interação com outros agentes.
• O Dilema: Existe um trade-off fundamental entre informatividade (ser claro para o aliado) e sigilo (ser ambíguo para o adversário). Aumentar a especificidade da mensagem melhora a utilidade, mas também facilita a inferência pelo adversário.

2. Metodologia: O Benchmark SNEAK

Os autores introduzem o SNEAK (Secret-aware Natural language Evaluation for Adversarial Knowledge), um benchmark inspirado no jogo de festa "The Chameleon".

Definição da Tarefa

O cenário é uma comunicação de "um único turno" (one-shot):

1. Entrada: Um modelo gerador recebe uma categoria semântica ($c$), um conjunto de palavras candidatas ($W$) e uma palavra secreta ($w_s \in W$).
2. Ação: O modelo deve gerar uma mensagem curta ($m$) que indique que conhece o segredo, sem revelá-lo diretamente.
3. Avaliação: A mensagem é avaliada por dois agentes simulados com estados de informação diferentes:
   • O Aliado (Ally): Conhece a palavra secreta. Sua tarefa é identificar qual mensagem corresponde ao segredo entre um conjunto de mensagens (incluindo a gerada e "decoys" ou iscas).
   • O Camaleão (Chameleon/Adversário): Não conhece o segredo. Sua tarefa é inferir qual palavra do conjunto $W$ é o segredo com base apenas na mensagem.

Métricas de Avaliação

O benchmark define duas métricas principais normalizadas (escala de 0 a 100):

1. Utilidade (Utility): Mede o quão bem o aliado identifica a mensagem correta.
2. Vazamento (Leakage): Mede o quão provável é que o camaleão infira corretamente a palavra secreta.
3. SoftScore: Uma métrica composta que captura o trade-off: $Utility \times (1 - Leakage)$. Penaliza falhas em qualquer um dos objetivos.
4. BinaryScore: Uma métrica binária onde a mensagem é considerada um sucesso apenas se o aliado escolher a mensagem correta E o camaleão não escolher a palavra secreta como a mais provável.

Dataset

• Baseado em normas de produção de categorias (Banks & Connell, 2023).
• Contém 117 categorias (67 concretas, 50 abstratas) e 1.394 instâncias de teste.
• Cada instância possui 10-12 palavras candidatas e 5 mensagens de "decoy" geradas semanticamente relacionadas à categoria, mas sem acesso ao segredo.

3. Contribuições Principais

1. Benchmark SNEAK: A primeira avaliação padronizada para compartilhamento seletivo de informação em LLMs, cobrindo diversos domínios semânticos.
2. Framework de Avaliação Comportamental: Decomposição da comunicação em utilidade e vazamento, permitindo uma avaliação objetiva e reprodutível baseada em agentes simulados (em vez de julgamentos subjetivos de LLMs).
3. Análise Empírica: Demonstração de que os LLMs modernos lutam para equilibrar esses objetivos, exibindo um trade-off rígido e ficando muito abaixo do desempenho humano.

4. Resultados Experimentais

Os autores avaliaram uma variedade de modelos (GPT-5, Claude Opus, Gemini, DeepSeek, Llama, Qwen, etc.) e compararam com baselines e participantes humanos.

• Desempenho Humano vs. LLM:
  • Participantes humanos superaram todos os modelos avaliados por uma margem significativa, alcançando até 4x mais pontuação no SoftScore.
  • Humanos conseguiram alta utilidade (91.26) com vazamento moderado (33.81), resultando em um SoftScore de 59.22.
• Desempenho dos Modelos:
  • Os modelos modernos alcançam alta utilidade (muitos acima de 90%), indicando que conseguem gerar mensagens informativas.
  • No entanto, sofrem de alto vazamento (frequentemente acima de 60-70%). Mensagens que são ótimas para o aliado são quase tão ótimas para o adversário.
  • O SoftScore dos melhores modelos fica em torno de 20-35, muito inferior ao humano.
• Trade-off Utilidade-Vazamento:
  • Existe uma correlação clara: mensagens mais específicas aumentam a utilidade, mas também o vazamento.
  • Técnicas de scaling no tempo de inferência (Chain-of-Thought, Self-Enhanced Test-Time Scaling, Recursive Message Refinement) melhoraram ligeiramente a utilidade ou reduziram o vazamento em casos isolados, mas não resolveram o problema fundamental de equilíbrio.
• Robustez:
  • A avaliação foi robusta a diferentes modelos avaliadores (Mixtral, Llama, Qwen) e a variações no tamanho do conjunto de candidatos e número de mensagens de isca.
  • Estudos com humanos confirmaram que os avaliadores baseados em LLMs têm alta concordância com julgamentos humanos (acordo de ~89% para aliados e ~67% para camaleões).

5. Análise de Estrutura Semântica

• Categorias Abstratas vs. Concretas: Categorias abstratas permitiram mensagens mais indiretas, resultando em melhor desempenho geral (maior utilidade, menor vazamento) do que categorias concretas.
• Estratégias de Mensagem: Mensagens baseadas em relações de entidade (propriedades intrínsecas) e associações situacionais (contexto, tempo) tendem a ter melhor desempenho. Relações taxonômicas diretas (ex: "é um tipo de") tendem a causar alto vazamento.

6. Significado e Conclusão

O trabalho conclui que a comunicação estratégica sob informação assimétrica é uma capacidade ainda subdesenvolvida e desafiadora para os sistemas atuais de IA.

• Gap Humano: A grande diferença de desempenho entre humanos e LLMs sugere que os modelos atuais não possuem a "teoria da mente" necessária para modelar o que um adversário sabe ou pode inferir, focando excessivamente na maximização da informação para o destinatário pretendido.
• Implicações: O SNEAK destaca a necessidade de desenvolver modelos que possam gerenciar o fluxo de informação de forma seletiva, o que é crucial para aplicações em tutoria (dicas sem dar a resposta), privacidade e comunicação segura em ambientes multiagente.
• Futuro: O benchmark serve como um passo inicial para avaliar e melhorar a capacidade dos modelos de balancear transparência e sigilo, uma dimensão crítica para a segurança e usabilidade de LLMs em cenários reais.

O artigo disponibiliza o dataset e os scripts de avaliação para fomentar pesquisas futuras sobre comunicação responsável em sistemas de IA.