Resumo Técnico: Slot Machines – Como os LLMs Rastreiam Múltiplas Entidades

Autores: Paul C. Bogdan e Jack Lindsey (Anthropic)
Objetivo: Investigar como os Modelos de Linguagem de Grande Escala (LLMs) representam e utilizam informações sobre múltiplas entidades simultaneamente dentro de um contexto, especificamente focando na capacidade de um único token carregar "ligações" (bindings) para mais de uma entidade.

1. O Problema

A cognição humana e o processamento de linguagem exigem a capacidade de vincular atributos a entidades coerentes e manter múltiplas dessas relações simultaneamente (ex: distinguir um "quadrado vermelho" de um "círculo azul" ao mesmo tempo). Embora os LLMs pareçam capazes de fazer isso, a mecânica interna de como eles representam múltiplas entidades em posições de token únicas não é totalmente compreendida.

O artigo questiona se os modelos apenas representam uma entidade por vez ou se eles tentam "multiplexar" (codificar múltiplas informações no mesmo espaço vetorial). Um exemplo crítico apresentado é a frase: "Alice prepara e Bob consome comida. Bob prepara e Alice bebe bebidas. O que Bob prepara?". Responder corretamente exige que o modelo represente duas relações sujeito-verbo-objeto distintas no mesmo token ("comida" ou "bebidas"). Modelos anteriores falharam nessa tarefa, sugerindo uma limitação na capacidade de manter múltiplas ligações em um único ponto.

2. Metodologia

Os autores desenvolveram uma abordagem inovadora chamada sondagem de múltiplos slots (multi-slot probing) para analisar as ativações do residual stream (fluxo residual) dos modelos.

2.1. Arquitetura de Sonda Multi-Slot

Diferente das sondas lineares tradicionais que assumem uma única representação por conceito, esta arquitetura utiliza uma mistura de especialistas (Mixture-of-Experts):

• Múltiplos Classificadores (Slots): Vários classificadores lineares são treinados para prever os mesmos atributos (traços) de diferentes maneiras.
• Camadas de Roteamento (Routing): Para cada entidade no contexto, uma camada de roteamento decide qual "slot" (representação) é mais preditivo em uma determinada posição de token.
• Objetivo: A sonda tenta prever o traço de todas as entidades descritas até aquele ponto, permitindo que o modelo utilize diferentes vetores para a mesma informação dependendo do contexto (ex: "entidade atual" vs. "entidade anterior").

2.2. Configuração Experimental

• Modelos Analisados: Foco principal no Qwen3-32B, com comparações em modelos menores (0.6B), maiores (70B, 235B) e modelos de fronteira fechados (Claude Opus-4.5, Gemini-3-Pro).
• Dados: 10.000 prompts descrevendo 8 entidades com 15 traços distintos.
• Técnicas de Intervenção:
  • Patching (Remendo): Transferência de ativações de um prompt de origem para um alvo para testar causalidade (ex: alterar a representação de uma entidade para ver se a resposta do modelo muda).
  • Steering (Direcionamento): Adição de vetores de direção para induzir conflitos ou inferências específicas.

3. Principais Contribuições e Descobertas

3.1. Existência de Slots de "Entidade Atual" e "Entidade Anterior"

Os resultados revelaram que os modelos não representam apenas a entidade atual. Em vez disso, eles utilizam dois slots principais e quase ortogonais:

1. Slot de Entidade Atual (Current-Entity): Codifica informações sobre a entidade sendo descrita no token atual.
2. Slot de Entidade Anterior (Prior-Entity): Copia e codifica informações da entidade imediatamente anterior no token da nova entidade.

• Descoberta Chave: Um único token (ex: o token do final da frase sobre Bob) contém simultaneamente informações sobre Bob (atual) e Alice (anterior) em direções vetoriais distintas e não correlacionadas.

3.2. Uso Funcional Diferenciado dos Slots

O estudo descobriu uma assimetria crucial no uso dessas representações:

• Inferências Relacionais: O slot de entidade anterior é ativamente utilizado para inferências que relacionam duas entidades, como:
  • Indução de Sequência: Determinar quem veio depois de quem.
  • Detecção de Conflito: Identificar se traços de entidades adjacentes são opostos (ex: "corajoso" vs. "medroso").
• Recuperação Explícita (Factual): O slot de entidade anterior NÃO é utilizado para recuperação direta de fatos sobre uma entidade específica.
  • Se perguntado "Existe alguém alto na lista?", o modelo ignora a representação de "alto" no slot de entidade anterior e busca apenas no slot de entidade atual.
  • Isso cria um paradoxo: a informação está disponível nas ativações (decodificável por uma sonda), mas o modelo não a "usa" para responder perguntas diretas.

3.3. A Dificuldade de Multiplexação em Tokens Únicos

O artigo testa a hipótese de que modelos não conseguem processar duas ligações (bindings) no mesmo token.

• Resultados em Modelos Abertos: Modelos abertos (incluindo grandes como Qwen-235B e Llama-3.3-70B) falham consistentemente em tarefas que exigem codificar duas relações sujeito-verbo-objeto no mesmo token (ex: "Alice prepara e Bob consome comida"). Eles tendem a confundir as atribuições.
• Resultados em Modelos de Fronteira: Modelos mais recentes e fechados (Claude Opus-4.5, Gemini-3-Pro) conseguem resolver essas tarefas com alta precisão, sugerindo que desenvolveram mecanismos de ligação mais sofisticados ou conseguem contornar as limitações dos slots anteriores.

4. Significado e Implicações

4.1. Lacuna entre Informação Disponível e Informação Utilizada

O trabalho destaca uma distinção fundamental: o que está disponível nas ativações não é necessariamente o que o modelo usa para computação. O slot de "entidade anterior" parece ser um subproduto da arquitetura que serve para inferências relacionais, mas não é acessível para recuperação factual direta, limitando a flexibilidade do modelo.

4.2. Implicações para Alinhamento e Comportamento

A estrutura de slots (atual vs. anterior) pode ser o substrato natural para comportamentos complexos e potencialmente problemáticos, como:

• Sycophancy (Adulação): O modelo pode manter uma representação da crença do usuário (no slot anterior ou em slots específicos) enquanto gera uma resposta que contradiz essa crença ou que parece independente.
• Engano (Deception): A capacidade de manter múltiplas perspectivas (o que é verdade vs. o que o usuário acredita) simultaneamente em slots distintos pode facilitar a geração de respostas enganosas.

4.3. Impacto em Métodos de Interpretabilidade

As descobertas alertam para os riscos de métodos padrão de interpretação (como SAEs - Sparse Autoencoders). Se um método identificar um recurso como "entidade X" baseado apenas no contexto imediato, ele pode estar rotulando incorretamente um slot de "entidade anterior", levando a conclusões errôneas sobre como o modelo processa informações históricas.

Conclusão

O artigo "Slot Machines" demonstra que os LLMs utilizam uma arquitetura de slots ortogonais para gerenciar múltiplas entidades, permitindo que tokens únicos carreguem informações sobre a entidade atual e a anterior. No entanto, essa representação é funcionalmente limitada: é excelente para inferências relacionais entre entidades adjacentes, mas ineficaz para recuperação factual direta. A incapacidade de modelos abertos de lidar com múltiplas ligações em um único token revela uma limitação mecânica que os modelos de fronteira mais recentes parecem ter superado, sugerindo uma evolução na estratégia de vinculação de entidades.