Resumo Técnico: Análise Mecanística de Algoritmos de Alinhamento em Modelos de Linguagem

Declaração do Problema

Algoritmos de alinhamento pós-treinamento, projetados para direcionar Grandes Modelos de Linguagem (LLMs) em direção à utilidade, ausência de danos e honestidade, são predominantemente avaliados como "caixas pretas". O sucesso é medido via métricas comportamentais agregadas (ex: pontuações de benchmarks, classificações de preferência humana) em vez de uma compreensão de como esses algoritmos remodelam as computações internas do modelo. Essa lacuna diagnóstica impede a previsão rigorosa de efeitos colaterais indesejados, como a degradação de capacidades específicas ou o surgimento de comportamentos deceptivos. Embora o campo tenha se diversificado do paradigma inicial de Otimização de Política Próxima (PPO) para incluir objetivos de preferência direta como Direct Preference Optimization (DPO), Simple Preference Optimization (SimPO), Odds Ratio Preference Optimization (ORPO), Kahneman-Tversky Optimization (KTO) e Group Relative Policy Optimization (GRPO), há uma falta de insight mecanístico comparativo sobre se esses diversos objetivos convergem para representações internas semelhantes ou induzem mudanças distintas ao nível de características (features).

Metodologia

Os autores apresentam uma análise mecanística sistemática através de seis métodos de otimização de preferência (PPO, DPO, SimPO, ORPO, GRPO, KTO) aplicados a três famílias de modelos de pesos abertos: Llama-3.2-3B, SmolLM3-3B e Qwen3-4B. Os modelos foram alinhados usando Low-Rank Adaptation (LoRA) no dataset UltraFeedback. A análise emprega um framework de interpretabilidade de três frentes:

1. Probing Linear (Linear Probing): Para localizar representações de preferência, os autores treinam classificadores de regressão logística nas ativações do fluxo residual de complementos escolhidos versus rejeitados. Isso mede a separabilidade linear dos sinais de preferência através de diferentes camadas, identificando as "melhores" camadas onde a informação de preferência é mais decodificável.
2. Autoencoders Esparsos (SAEs): Para decompor as ativações superpostas e polissêmicas em características monossêmicas interpretáveis, Batch Top-K SAEs foram treinados nos modelos base. Esses SAEs foram então usados para medir a ativação de características "âncoras" específicas nos modelos alinhados, permitindo a quantificação de supressão, amplificação ou mudanças de variância de características.
3. Crosscoders: Para comparar a geometria dos espaços latentes entre modelos base e alinhados, crosscoders foram treinados em estados ocultos pareados. Isso permite a classificação de características como compartilhadas, específicas do base, específicas do alinhado, atenuadas ou redirecionadas. Estatísticas geométricas (razões de norma e ângulos) foram usadas para determinar se o alinhamento induziu compartilhamento construtivo ou rotação/atenuação não construtiva.

Principais Contribuições

O artigo estabelece que o alinhamento é uma intervenção heterogênea em vez de um conserto comportamental uniforme. As principais contribuições são:

• Diagnósticos de Alinhamento Abrangentes: O estudo fornece a primeira comparação de "caixa branca" de seis métodos de preferência líderes através de três arquiteturas distintas, indo além do benchmarking de saída para a análise de representação interna.
• Assinaturas de Alinhamento Distintas: Os autores identificam transformações geométricas qualitativamente diferentes induzidas por diferentes objetivos:
  • KTO e GRPO: Estes métodos aumentam a separabilidade linear das representações de preferência. O KTO alcança isso através do compartilhamento construtivo de características e do recrutamento de características esparsas de alta saliência. O GRPO amplifica gradientes baseados na variância intra-grupo, levando a um forte poder discriminativo.
  • DPO e ORPO: Estes métodos degradam a separabilidade linear em relação ao modelo base. O DPO está associado à rotação geométrica não construtiva de características compartilhadas, deslocando as representações para subespaços ortogonais às direções originais de codificação de preferência. O ORPO atenua as ativações relevantes para a preferência, diminuindo significativamente os sinais de certas características (ex: uma redução de 400% na ativação mediana para certas características no Qwen3).
  • PPO e SimPO: Estes métodos preservam majoritariamente a geometria de base, mantendo a decodificabilidade linear das preferências sem o aumento construtivo visto no KTO/GRPO ou a degradação vista no DPO/ORPO.
• Variabilidade Dependente de Arquitetura: Os efeitos internos de um objetivo de alinhamento específico não são uniformes entre famílias de modelos. Por exemplo, enquanto o ORPO causa colapso catastrófico de performance e supressão de características no Llama-3.2 e Qwen3, ele mantém níveis de ativação comparáveis ao modelo base no SmolLM3. Isso demonstra que afirmações sobre mecanismos de alinhamento devem ser delimitadas pelo escopo da arquitetura base específica e da camada analisada.

Resultados

• Probing Linear: O padrão de "corcova de camelo" (camel-hump) de discriminabilidade de preferência (concentrada em camadas iniciais-médias ou médias-tardias) persiste através dos métodos. No entanto, KTO e GRPO mostram o maior poder discriminativo, enquanto DPO e ORPO mostram reduzida separabilidade em comparação ao modelo base.
• Análise de SAE: O ORPO induz uma supressão marcada de características âncoras nos modelos Llama e Qwen, enquanto o KTO introduz maior variância nas ativações de características, sugerendo maior dependência de contexto. O SmolLM3 exibe uma heterogeneidade diferente, onde o GRPO mostra redução de ativação apenas na camada de melhor probe, mas elevação de ativação na camada de treinamento.
• Geometria de Crosscoder: O compartilhamento de características do KTO é "construtivo", pegando emprestada a discriminabilidade existente e melhorando-a. Em contraste, DPO e ORPO exibem distorção "não construtiva"; o DPO rotaciona as características para longe do subespaço de preferência, e o ORPO atenua as características compartilhadas. PPO e SimPO mostram distribuições de características que reificam a preservação da geometria de base.
• Correlação Comportamental: As pontuações do MT-Bench revelam que a performance de superfície nem sempre correlaciona com a saúde interna. Por exemplo, o ORPO causou uma queda drástica nas pontuações do Llama-3.2 (de 6.33 para 2.12), o que foi diagnosticado como deriva de representação interna e atenuação de características, em vez de simples ruído de saída.

Significância

O artigo argumenta que o alinhamento comportamental não implica uma reestruturação interna uniforme. Ao caracterizar o alinhamento como um conjunto de transformações representacionais distintas, os autores motivam a necessidade de auditoria padronizada ao nível de características para segurança e interpretabilidade. Os achados sugerem que objetivos de otimização conscientes de mecanismos são necessários para garantir que os protocolos de alinhamento não apenas melhorem o comportamento de saída, mas também mantenam ou aumentem a fidelidade geométrica das representações internas. Este trabalho move o campo em direção a uma compreensão de "caixa branca" do alinhamento, fornecendo um framework diagnóstico para detectar se a degradação provém de deriva de representação, sobre-otimização ou perda de circuitos de seguimento de instruções.

Limitações

Os autores reconhecem que seus experimentos estão restritos a modelos de 3B–4B parâmetros, e as mudanças representacionais podem escalar de forma não linear em modelos maiores de produção. Além disso, a análise é diagnóstica e não causal; embora identifique informações decodificáveis e mudanças na geometria de características, ela não realiza ablações causais de nível de componente (ex: activation patching) para estabelecer circuitos necessários ou suficientes para os comportamentos observados.