Resumo Técnico: Faithful-Patchscopes

1. Declaração do Problema

Grandes Modelos de Linguagem (LLMs) demonstraram a capacidade de interpretar suas próprias representações ocultas internas através do framework Patchscopes (Ghandeharioun et al., 2024). Este framework decodifica estados ocultos em explicações legíveis por humanos ao "remendar" (patching) uma representação de origem em um prompt de destino. No entanto, este artigo identifica uma limitação crítica: a infidelidade sistemática nessas explicações.

Os autores observam que os LLMs frequentemente dependem de padrões linguísticos inerentes (priors empíricos) em vez da informação contextual codificada nas representações ocultas durante o processo de decodificação. Por exemplo, se uma representação oculta codifica o atributo "roxo" para "brócolis" (contrariando a associação comum do brócolis com "verde"), o modelo frequentemente ignora o "roxo" codificado e gera "verde" em sua explicação. Esse comportamento é impulsionado pelo viés do modelo, induzido por padrões linguísticos desbalanceados nos dados de treinamento, onde associações de alta frequência sobrepõem atributos contextuais de baixa frequência.

O artigo argumenta que os métodos de debiasing existentes são inadequados para o Patchscopes:

• Ajuste Fino Supervisionado (SFT) requer conjuntos de dados anotados caros e altera globalmente os parâmetros do modelo, alterando, assim, as representações ocultas originais que o Patchscopes visa explicar.
• Métodos baseados em prompt são instáveis e altamente sensíveis ao design do prompt.
• Intervenções de vetores de direção (steering vectors) assumem que o viés existe em direções bem definidas e linearmente separáveis, o que é difícil de estimar de forma confiável.

2. Metodologia

2.1. Conjunto de Dados e Análise

Para estudar sistematicamente esta questão, os autores construíram um conjunto de dados cobrindo quatro tarefas: Cor, Gênero, Cultura e Idade.

• Subconjunto Enviesado (Biased Subset): Contém pares de substantivo-atributo onde o modelo exibe uma forte preferência por um atributo primário ($a_{pri}$) baseado na frequência linguística (ex: brócolis $\rightarrow$ verde), enquanto um atributo secundário ($a_{sec}$) é fornecido contextualmente (ex: brócolis $\rightarrow$ roxo).
• Subconjunto Não Enviesado (Non-biased Subset): Contém pares onde não existe uma forte preferência linguística.

Descobertas:

• Elo Causal: Uma análise de regressão logística confirma que padrões linguísticos desbalanceados (lacunas de frequência entre atributos) são um determinante significativo do viés do modelo. Um aumento de um desvio padrão na diferença de frequência aumenta as chances de viés em um fator de ~9,3.
• Queda de Fidelidade: No subconjunto enviesado, a fidelidade do vanilla Patchscopes (medida pela Taxa de Exibição/Show Rate, a razão de geração correta de atributos) diminui em média 18,84% em comparação com o subconjunto não enviesado.

2.2. Localizando Camadas Sensíveis ao Viés

Os autores propõem um método para identificar as camadas específicas onde o viés é codificado e começa a influenciar o cálculo subsequente. Eles introduzem duas métricas:

1. Diferença de Logit (LD): Mede a diferença nos logits entre o atributo alinhado ao contexto e o atributo enviesado em cada camada usando uma abordagem de logit-lens.
2. Alinhamento de Similaridade de Gradiente (GSA): Mede o alinhamento entre o gradiente de saída e a direção do atributo para determinar se o modelo depende de informações enviesadas ou contextuais.

Essas métricas são combinadas em uma pontuação de seleção de camada ($l^*$) para identificar a camada ideal para intervenção. Os autores descobriram que o viés não é distribuído uniformemente, mas emerge em camadas intermediárias.

2.3. Solução Proposta: BALOR

O artigo introduz o Bias Alignment through Logit Recalibration (BALOR), uma intervenção de tempo de decodificação que mitiga o viés sem modificar os parâmetros do modelo.

Mecanismo Central:
O BALOR utiliza um par de prompts contrastivos:

• Prompt Alvo (T): Contém a representação oculta remendada (codificando o atributo contextual).
• Prompt Contrastivo (T):* Substitui o placeholder pelo token original, contendo nenhuma informação contextual, refletindo apenas o prior/viés empírico do modelo.

Recalibração de Logit:
O método subtrai os logits escalonados do prompt contrastivo dos logits do prompt alvo antes de aplicar a função softmax:
$$p_{balor}(y | T) = \sigma \left[ (1 + \alpha) l_\theta(y | T) - \alpha l_\theta(y | T^*) \right]$$
Onde:

• $l_\theta(y | T)$ e $l_\theta(y | T^*)$ são os logits pré-softmax.
• $\alpha$ é um hiperparâmetro que controla o nível de amplificação.

Garantia Teórica:
O Teorema 4.1 prova que, no espaço de log-odds, se um token é mais sustentado pela evidência remendada do que pelo prior contrastivo, o BALOR aumenta monotonicamente sua preferência relativa à medida que $\alpha$ aumenta. Isso isola efetivamente o componente de viés e amplifica a informação contextual.

Modos:

• Compartilhado (Modo S): A distribuição recalibrada é usada para amostrar tokens para ambos os prompts, mantendo as sequências sincronizadas.
• Dividido (Modo D): A recalibração é aplicada apenas ao prompt alvo; o prompt contrastivo decodifica com os logits originais.

3. Principais Contribuições

1. Conjunto de Dados e Análise: Projetou um conjunto de dados para avaliar o Patchscopes sob condições de viés, demonstrando que o viés do modelo limita fundamentalmente a fidelidade das explicações das representações ocultas (causando uma diminuição de desempenho de 11,84% a 28,47%).
2. BALOR: Introduziu um método de decodificação de recalibração de logit que mitiga o viés na fase de inferência ao contrastar representações remendadas contra priors empíricos.
3. Validação Empírica: Realizou experimentos extensos em quatro LLMs modernos (Llama2-7b, Llama3.2-1b, Llama3-8b, Qwen3-4b), mostrando que o BALOR supera consistentemente os baselines.

4. Resultados Experimentais

Os experimentos foram conduzidos sob configurações zero-shot e few-shot nas quatro tarefas.

• Desempenho: O BALOR (especificamente o Modo S) superou consistentemente todos os baselines, incluindo o Vanilla Patchscopes, métodos de orientação por prompt (Closed-Book, Internal-Evidence, Data-Bound), SFT e FairSteer.
• Melhoria: O BALOR alcançou até 33% de melhoria relativa de desempenho na Taxa de Exibição (SR) em comparação com o baseline vanilla.
• Estabilidade: O Modo S demonstrou alta estabilidade através de diferentes hiperparâmetros ($\alpha$) e temperaturas de amostragem. O Modo D mostrou mais variabilidade e instabilidade ocasional devido à divergência de sequência entre os prompts.
• Comparação:
  • Os baselines baseados em prompt foram instáveis e muitas vezes tiveram desempenho inferior ao vanilla baseline.
  • Métodos de SFT degradaram significativamente quando os dados de ajuste fino entravam em conflito com os dados de avaliação.
  • O FairSteer teve um desempenho ruim quando a direção de debiasing era imprecisa.

5. Significância e Alegações

O artigo alega que padrões linguísticos desbalanceados induzem o viés do modelo que distorce a fidelidade das explicações das representações ocultas. Ao propor o BALOR, os autores fornecem um mecanismo para recuperar a verdadeira informação codificada nas representações ocultas sem alterar os parâmetros ou as representações internas do modelo.

Os autores enfatizam que seu trabalho melhora a confiabilidade da interpretabilidade de LLMs. Eles afirmam que, embora seu método aumente a fidelidade, as explicações resultantes não devem ser tratadas como evidência definitiva do raciocínio do modelo, mas devem ser usadas junto com técnicas de avaliação complementares. O trabalho visa ajudar pesquisadores a entender melhor como os LLMs codificam e utilizam informações contextuais, o que é crucial para a implantação confiável desses modelos. Os autores não preveem consequências sociais negativas decorrentes diretamente deste trabalho.