Resumo Técnico: A Dispersão de Ativação Separa a Familiaridade da Entidade da Confiabilidade Factual

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) frequentemente alucinam quando questionados sobre entidades que não encontraram durante o pré-treinamento. Embora estudos mecanicistas sugiram que a recuperação de conhecimento envolve padrões de ativação localizados e a alucinação envolve padrões deslocalizados, permanece não testado se a dispersão estatística de passagem única e não supervisionada das ativações internas pode detectar a familiaridade da entidade antes que qualquer token de resposta seja gerado. Além disso, não está claro se esse "sinal de familiaridade" interno correlaciona-se com a confiabilidade factual comportamental do modelo (ou seja, se o modelo realmente responde corretamente sobre entidades conhecidas).

Este estudo aborda essas lacunas usando a família de modelos Bielik, de instrução ajustada (instruction-tuned) em polonês (1.5B a 11B de parâmetros). Ele investiga se a dispersão de ativação pode distinguir entre entidades conhecidas, reais-mas-obscuras e fabricadas, e se esse sinal rastreia a capacidade do modelo de responder corretamente.

Metodologia

Conjunto de Dados e Desenho Experimental

Os autores construíram um conjunto de dados através de quatro domínios de entidades: atletas, cidades, escritores e músicos. Cada domínio contém 126 entidades divididas em três condições (42 por condição):

1. Conhecido: Entidades famosas (ex: Robert Lewandowski).
2. Desconhecido-Real: Entidades reais, mas obscuras (ex: atletas de ligas inferiores) que o modelo provavelmente não consegue descrever.
3. Fabricado: Nomes morfologicamente plausíveis, mas inventados (ex: "Roman Lewandowicz").

Os prompts eram perguntas de uma frase ("Quem é {entidade}?" ou "O que é {entidade}?"). O domínio dos atletas serviu como o banco de testes primário para a análise comportamental, enquanto os outros três domínios foram usados para testar a generalização.

Extração de Sinal e Métricas

Para cada prompt, uma única passagem direta (forward pass) foi realizada. O estudo focou nas ativações pós-SwiGLU MLP no ponto do prompt (o último token do prompt, após a entidade ter sido processada).

• Métricas de Dispersão (Não Supervisionadas):
  • Razão de Participação Inversa (IPR): Mede a concentração da ativação (IPR alto = localizado).
  • Entropia Espectral: Mede a entropia da distribuição de ativação normalizada (entropia baixa = localizado).
  • Pré-processamento: As ativações foram winsorizadas no quantil 99 para evitar que outliers massivos dominassem as estatísticas.
• Limite Superior Supervisionado: Um probe de regressão logística com regularização $\ell_2$ treinado em estados ocultos para determinar o sinal máximo linearmente decodável.
• Baselines:
  • Contagem de Tokens: Um baseline lexical baseado no comprimento da entidade.
  • Entropia Semântica: Um baseline multi-amostra (5 amostras + agrupamento por LLM) que mede a consistência da resposta.
  • Entropia do Primeiro Token: Baseline de entropia do lado da saída.

Estrutura de Avaliação

• Nulos de Seleção Conscientes: Para evitar o overfitting na seleção de camadas, os autores usaram testes de permutação (10.000 permutações) onde os rótulos foram embaralhados e o melhor nível/métrica foi re-selecionado para cada permutação. O percentil 95 dos máximos nulos serviu como o piso de desempenho.
• Validação com Dados Retidos (Held-Out): As camadas foram selecionadas em metade dos dados e avaliadas na outra metade.
• Auditoria Comportamental: Para o domínio dos atletas, um juiz LLM (Claude Opus 4.8) classificou as respostas quanto à correção factual sob rubricas estritas e suaves. Uma auditoria separada (Claude Haiku 4.5) contou recusas e respostas hesitantes (hedged).

Principais Contribuições

1. Detecção de Familiaridade Não Supervisionada: O estudo demonstra que estatísticas de dispersão simples e de forma fechada (IPR e entropia espectral), computadas em uma única passagem direta, podem separar entidades conhecidas de fabricadas com AUROC 0.94–1.00 em todas as escalas de modelos (1.5B–11B). Esse sinal supera os pisos de permutação de seleção consciente (~0.70–0.74) e sobrevive à seleção de camada com dados retidos.
2. Generalização entre Domínios: O detector generaliza entre atletas, cidades, escritores e músicos. A transferência de probe cross-domain produz AUROCs fora da diagonal médios de 0.92–0.99. As quedas de desempenho observadas ao transferir para o domínio das "cidades" foram mostradas como causadas por diferenças nos templates de prompt ("O que é" vs. "Quem é"), e não pelo tipo de entidade, via um contrafactual de template correspondente.
3. Dissociação de Curvas de Escalonamento: O artigo identifica dois comportamentos de escalonamento distintos:
   • Familiaridade Representacional: A capacidade de distinguir entidades conhecidas de desconhecidas já está no teto (AUROC > 0.94) na menor escala (1.5B) e não melhora significativamente com a escala.
   • Confiabilidade Comportamental: A capacidade de responder corretamente sobre entidades conhecidas escala bruscamente. Para atletas conhecidos, respostas totalmente corretas sob um juiz estrito subiram de 0/42 (1.5B) para 19/42 (11B).
4. Resultado Negativo sobre Confiabilidade Factual: Dentro do conjunto de entidades conhecidas, as métricas de dispersão falham em distinguir entre respostas corretas e alucinações (AUROC ~0.68–0.82, frequentemente indistinguíveis dos baselines). O sinal detecta familiaridade, não veracidade.
5. Complementaridade com Entropia Semântica: Enquanto a dispersão de uma única passagem supera a entropia semântica no contraste "conhecido vs. fabricado" (0.94+ vs. 0.71–0.83), a entropia semântica supera a dispersão no contraste "correto vs. alucinação" (até 0.87). Os dois métricas consomem informações diferentes (familiaridade do lado do prompt vs. consistência do lado da geração).
6. O Gap de Abstenção: Apesar de carregar um sinal interno quase perfeito de unfamiliaridade, os modelos quase nunca recusam responder. Em 2.520 respostas de atletas amostradas, houve apenas 2 recusas e 1 resposta hesitante (99.88% de asserções diretas). Este gap existe mesmo no modelo de 11B, onde o sinal de familiaridade é legível.

Resultados

• Separabilidade: A melhor métrica de dispersão não supervisionada alcançou AUROCs de 0.936 (1.5B) a 0.984 (4.5B) para o contraste conhecido vs. fabricado de atletas. O probe supervisionado atingiu 0.99–1.00, indicando que a informação está presente nas ativações.
• Contrastes de Controle:
  • Conhecido vs. Desconhecido-Real: A dispersão alcançou 0.97–1.00, provando que o sinal rastreia familiaridade e não apenas a "estranheza" de strings fabricadas.
  • Desconhecido-Real vs. Fabricado: A dispersão alcançou 0.70–0.82, sugerindo um componente lexical ou de plausibilidade residual em strings fabricadas, mas isso está muito abaixo do sinal principal.
• Estrutura de Profundidade: O sinal de familiaridade está presente desde as camadas iniciais-médias (profundidade relativa ~0.2) e persiste através da rede. A entropia espectral mostra uma "banda de conhecimento" consistente na profundidade relativa [0.48, 0.77] através dos modelos.
• Difusão de Atenção: O sinal não é carregado por um pequeno conjunto fixo de cabeças de atenção. A análise por cabeça mostra que o sinal de familiaridade é difuso, com apenas 1–2 cabeças compartilhadas entre as 20 melhores cabeças de todos os quatro domínios.
• Escalonamento Comportamental: A correção em entidades conhecidas melhorou monotonicamente com a escala (0 → 2 → 10 → 19 corretos de 42 sob critérios estritos).
• Comportamento de Recusa: Os modelos raramente se abstêm. Apenas o modelo de 11B recusou duas vezes; os modelos de 1.5B e 4.5B nunca recusaram, apesar de possuírem o mesmo sinal de familiaridade interno.

Significância e Alegações

O artigo afirma que a familiaridade da entidade e a confiabilidade factual são fenômenos distintos que se movem em diferentes curvas de escalonamento.

• A familiaridade é uma propriedade de baixa capacidade: Modelos pequenos (1.5B) já possuem uma representação interna legível do que sabem e do que não sabem. Esta é uma "sombra volumétrica de grão grosso" da circuiteria de reconhecimento de entidades encontrada em estudos mecanicistas.
• A confiabilidade é uma propriedade de alta capacidade: A capacidade de recuperar fatos sem alucinação requer significativamente mais parâmetros e repetição de dados.
• O Gap de Alinhamento: A descoberta mais significativa é o regime de quase zero recusas. Os modelos possuem um sinal interno "perfeito" indicando que não conhecem uma entidade, mas quase nunca agem sobre isso comportamentalmente. Os autores argumentam que este é um gap de alinhamento/ajuste em vez de um gap de capacidade, já que modelos maiores (e outras famílias como Gemma-4) podem ser induzidos a recusar sob condições semelhantes.

O artigo conclui que, embora a dispersão de ativação forneça um portão barato e sem rótulos para detectar entidades desconhecidas (útil para roteamento para recuperação ou abstenção), ela não pode ser usada como um detector de alucinação para conteúdo sobre entidades familiares. O estado interno diz ao modelo "Eu não conheço esta entidade", mas não diz "Eu estou prestante a mentir sobre esta entidade conhecida".