Resumo Técnico: Circuitos de Julgamento

Declaração do Problema

O paradigma "LLM como Juiz" (LaaJ) tornou-se o padrão para escalar a avaliação de modelos, mas sofre de um problema crítico de confiabilidade: os modelos atribuem sistematicamente pontuações diferentes ao mesmo input dependendo do formato de saída (por exemplo, uma classificação de 1 a 5 versus uma classificação Verdadeiro/Falso). Trabalhos anteriores documentaram essa inconsistência, mas limitaram-se ao nível de entrada-saída, falhando em explicar os mecanismos computacionais internos. A questão central abordada por este artigo não é se os modelos julgam de forma consistente, mas onde, no caminho computacional da entrada à saída, a inconsistência induzida pelo formato de token se origina.

Metodologia

Os autores empregam o Patching de Atribuição de Borda Consciente de Posição (PEAP) para investigar causalmente os mecanismos internos dos circuitos de julgamento nos modelos Gemma-3, Qwen2.5 e Llama-3. Sua abordagem envolve:

1. Descoberta de Circuitos: Uso do PEAP para rastrear arestas causais através de posições de token (essenciais para tarefas que comparam segmentos separados, como premissa versus hipótese) desde tokens de entrada diferenciais (prompts limpos versus corrompidos) até a saída.
2. Decomposição Contrastiva: Rastreamento de dois circuitos para as mesmas instâncias de dados: um para uma tarefa de classificação ($C_{rate}$) e outro para uma tarefa de controle de classificação ($C_{class}$). A interseção desses circuitos ($C_{LE} = C_{rate} \cap C_{class}$) define o Avaliador Latente (LE), enquanto as diferenças definem os Formatadores de Tarefa (TF).
3. Provas Causais: Validação dos circuitos descobertos através de três métodos independentes:
   • Ablação Zero: Fixar componentes do LE em zero para testar se o conhecimento do mundo é preservado enquanto o julgamento colapsa.
   • Direcionamento de Subespaço: Identificar uma direção de julgamento 1D no espaço de ativação do LE e direcioná-la para observar mudanças na saída.
   • Injeção de Transferência de Formato (FTI): Capturar ativações do LE de um prompt de classificação e injetá-las no grafo de um prompt de classificação para ver se o token de saída muda.

Principais Contribuições e Resultados

1. Descoberta de um Avaliador Latente Compartilhado

O estudo identifica um sub-grafo esparso e generalizado de Avaliador Latente (LE) localizado nos Perceptrons de Múltiplas Camadas (MLPs) de meio a final e em cabeças de atenção selecionadas tardias.

• Sobreposição entre Tarefas: Tarefas de julgamento distintas (correção linguística estruturada, preferência e sentimento) compartilham um tronco computacional denso. Por exemplo, no Qwen2.5-7B, a Interseção sobre União (IoU) de arestas entre tarefas varia de 34,9% a 47,0%.
• Fidelidade: Esses circuitos esparsos (top-$k \le 200$ arestas) são causalmente suficientes, recuperando $\ge 87\%$ do comportamento de avaliação do modelo em 21 de 25 configurações de modelo-tarefa.

2. Modularidade Dependente da Arquitetura

O isolamento funcional do LE não é uma consequência universal da escala, mas depende da arquitetura do modelo:

• Modelos Modulares: Em Qwen2.5-7B, Qwen2.5-14B, Llama-3.1-8B e Gemma-3-27B, a ablação zero do LE colapsa o desempenho de julgamento, deixando o conhecimento do mundo (MMLU, StrategyQA) intacto.
• Modelos Emaranhados: No Gemma-3-12B, o LE está fortemente emaranhado com caminhos de conhecimento do mundo; ablatá-lo degrada tanto o julgamento quanto a recordação factual. Isso indica que a modularidade é uma propriedade arquitetônica, não meramente uma função da contagem de parâmetros.

3. Mecanismo da Inconsistência Induzida por Formato

O artigo fornece uma explicação mecânica de por que mudanças de formato causam inconsistência:

• A Divisão: O julgamento é computado por um sinal estável e contínuo no tronco compartilhado do LE. Esse sinal é então mapeado para tokens de saída específicos por ramificações terminais frágeis e específicas de formato (Formatadores de Tarefa).
• O Gargalo: A inconsistência surge não na avaliação em si, mas no roteamento. O LE computa uma direção de julgamento estável 1D, mas a "geometria atratora" do Formatador de Tarefa (como ele mapeia esse escalar para tokens discretos) varia conforme o formato e o modelo.
  • Formatos Binários/Ordinais: Em formatos com atratores claros (por exemplo, Sim/Não binário ou escalas de 1 a 5), o sinal do LE é decodificado com sucesso.
  • Formatos Multi-Atratores: Em tarefas como MNLI (Encaixe/Neutro/Contradição), o formatador distribui a massa de probabilidade entre três tokens concorrentes. Injetar um sinal de julgamento 1D frequentemente falha em alterar a saída porque o sinal se fragmenta entre os três atratores, impedindo que um único rótulo atinja o argmax.
• Evidência FTI: A injeção de ativação abrangente de um prompt de classificação em um prompt de classificação altera o token de saída em modelos modulares (por exemplo, Qwen2.5-7B altera $\ge 99\%$ dos casos), mas falha em modelos onde o formatador está geometricamente isolado (por exemplo, Gemma-3-27B em MNLI).

4. Implicações Práticas para Avaliação

Os autores demonstram que a direção causal 1D do LE pode servir como um escalar de julgamento zero-shot.

• Em dados de preferência de pequeno $N$ (onde as saídas solicitadas são mal calibradas e sondas supervisionadas sofrem de sobreajuste), esse sinal latente iguala ou supera sondas residuais supervisionadas.
• No entanto, em tarefas onde o vocabulário solicitado está alinhado em escala com rótulos humanos (por exemplo, estrelas de 1 a 5 do Yelp), os valores esperados ponderados por probabilidade permanecem uma base forte que a direção latente não supera.

Significado e Alegações

O artigo reestrutura o debate sobre a confiabilidade do LaaJ. Argumenta que a inconsistência comportamental sob perturbações de formato é a assinatura esperada de um julgamento interno estável roteado através de um mapeamento terminal frágil, e não uma falha da capacidade de avaliação subjacente.

• Mudança Diagnóstica: A questão diagnóstica muda de "O modelo julga consistentemente?" para "O formatador para esta especificação de saída preserva o julgamento subjacente?".
• Interpretação de Benchmarks: Comparações de confiabilidade no nível do benchmark entre formatos estão medindo parcialmente a geometria do formatador e não a qualidade da avaliação.
• Insight Arquitetônico: As descobertas desafiam a suposição de que abstrações internas limpas emergem genericamente com a escala; em vez disso, escolhas arquitetônicas (dados de treinamento, esparsidade de atenção, normalização) desempenham um papel de suporte na determinação se um modelo exibe modularidade funcional.

Os autores concluem que correções para inconsistência do LaaJ devem visar o formatador (o mecanismo de roteamento) sem perturbar a competência central de julgamento do modelo, e que a extração de subespaço latente é uma alternativa viável às saídas solicitadas, particularmente em regimes onde as saídas discretas são mal calibradas.