We Think, Therefore We Align LLMs to Helpful, Harmless and Honest Before They Go Wrong

Resumo Técnico: Direcionamento Adaptativo de Múltiplos Ramos (AMBS) para Alinhamento de LLMs com Múltiplos Objetivos

Declaração do Problema
Os Modelos de Linguagem de Grande Escala (LLMs) requerem alinhamento com a intenção humana, tipicamente operacionalizado através de três objetivos concorrentes: Utilidade, Inofensividade e Honestidade (HHH). Embora trabalhos anteriores tenham alcançado alinhamento via Fine-Tuning Supervisionado (SFT) ou Aprendizado por Reforço a partir de Feedback Humano (RLHF), esses métodos frequentemente lutam para satisfazer conjuntamente os objetivos HHH durante a inferência, particularmente em configurações complexas.

As abordagens existentes de alinhamento em tempo de inferência, como vetores de direcionamento, tipicamente tratam os objetivos de forma isolada. Quando uma única representação compartilhada é direcionada para um objetivo, ela pode sobrescrever ou interferir com os outros. Extensões recentes para um cenário de Transformer "1 para N" (replicando uma representação compartilhada em múltiplos caminhos) tentam mitigar isso aplicando transformações independentes. No entanto, essas atualizações independentes carecem de restrições sobre as relações entre os caminhos, levando a respostas inconsistentes e divergência entre os objetivos. Além disso, métodos de trade-off baseados em treinamento (por exemplo, RLHF seguro, Mistura de Especialistas) não restringem transformações específicas de objetivos dentro de uma representação compartilhada durante a inferência, resultando em "colapso de eixo" ou representações disjuntas onde objetivos conflitantes não podem ser satisfeitos simultaneamente.

Metodologia: Direcionamento Adaptativo de Múltiplos Ramos (AMBS)
Os autores propõem o AMBS, um framework de duas etapas projetado para um cenário de Transformer "1 para N" que parametriza transformações específicas de objetivos em relação a uma representação compartilhada. A inovação central é definir atualizações como desvios de uma referência comum, em vez de modificações independentes.

1. Etapa I: Cálculo da Representação Compartilhada
   O Transformer computa uma representação oculta compartilhada $h^{(0)}_\ell$ na camada $\ell$ (tipicamente a camada final $L$) para uma dada entrada. Esta representação serve como uma base comum e é reutilizada em todos os objetivos.

2. Etapa II: Transformações Guiadas por Referência
   A representação compartilhada é replicada em $N$ caminhos ($h^{(i)}_\ell = h^{(0)}_\ell$). Para cada objetivo $i$, uma transformação $\Delta h^{(i)}_\ell$ é aplicada em relação à referência compartilhada $h^{ref}_\ell = h^{(0)}_\ell$.

   • Atualização Baseada em Desvio: Em vez de atualizações independentes, a transformação é definida como uma função do desvio da referência: $\Delta h^{(i)}_\ell = f_i(\tilde{h}^{(i)}_\ell - h^{ref}_\ell; \phi_i)$.
   • Parametrização de Baixo Rango: A política $f_i$ é implementada como uma projeção de baixo rango com um viés aditivo: $\Delta h^{(i)}_\ell = ((\tilde{h}^{(i,0)}_\ell - h^{ref}_\ell)A_i)B_i + b_i$. Aqui, $A_i$ e $B_i$ são matrizes de baixo rango aprendíveis, e $b_i$ é um viés aprendível. Crucialmente, o viés $b_i$ garante um desvio inicial não nulo, ativando a atualização de baixo rango imediatamente dentro de uma única passagem direta sem computação iterativa de ponto fixo.
   • Geração de Saída: Cada caminho produz uma distribuição de saída específica de objetivo $p^{(i)}_\theta$. Estas são combinadas na decodificação em uma única distribuição conjunta $p^{joint}_\theta$ usando uma média geométrica ponderada.

3. Objetivo de Otimização
   O framework minimiza uma função de perda composta:
   $$\min \sum_{i=1}^N L^{(i)}_{obj} + \lambda L_{cons}$$

   • $L^{(i)}_{obj}$: A perda específica de objetivo (por exemplo, entropia cruzada) para o caminho $i$.
   • $L_{cons}$: Um termo de consistência medindo a distância euclidiana quadrada entre representações transformadas através dos caminhos. Este termo penaliza a divergência excessiva enquanto permite variações necessárias específicas de objetivo, prevenindo o "colapso" observado em outros métodos conjuntos.

Principais Contribuições

• Design do Framework: Introdução do AMBS, que estende o cenário de Transformer "1 para N" parametrizando transformações como desvios de uma referência compartilhada, controlando assim a interferência enquanto mantém a distinção dos caminhos.
• Formulação Teórica: Uma formulação matemática onde as diferenças entre caminhos dependem exclusivamente de termos de desvio ($\Delta h^{(i)}_\ell - \Delta h^{(j)}_\ell$) em vez de transformações independentes do estado base, apoiada por lemas que provam inicialização não degenerada e ativação imediata de parâmetros de baixo rango.
• Desempenho Empírico: Demonstração de que o AMBS melhora o desempenho conjunto HHH em quatro modelos base diferentes (LLaMA-2-7B, Mistral-7B, Gemma-7B, DeepSeek-7B) enquanto mantém eficiência computacional.

Resultados
Os experimentos foram conduzidos em benchmarks padrão: Alpaca (Utilidade), BeaverTails (Inofensividade) e TruthfulQA (Honestidade).

• Ganhos de Desempenho: O AMBS alcançou as médias mais altas (Avg) entre os modelos base. Para o LLaMA-2-7B, o AMBS atingiu uma Média de 56,5%, superando o Estado da Arte anterior (TrinityX) em 55,1% e o AlignX em 51,3%.
• Melhorias Específicas de Objetivo:
  • Utilidade: Aumentou a Taxa de Vitória (WR) para 53,0% (vs. 48,7% para RAHF).
  • Inofensividade: Reduziu a Pontuação de Segurança (SS, onde menor é melhor) para 5,3% (vs. 7,2% para Aligner).
  • Honestidade: Melhorou a Veracidade-Informatividade (TI) para 37,9% (vs. 31,7% para DExperts).
• Análise de Interferência: Diferentemente de métodos de objetivo único que mostram grandes quedas de desempenho quando os alvos mudam, ou métodos conjuntos que exibem "colapso" (pontuações idênticas entre objetivos), o AMBS manteve alto, mas não uniforme, desempenho entre os objetivos (por exemplo, 37,0% / 25,8% / 14,3%), indicando interferência reduzida sem colapso.
• Eficiência: O método mantém alto rendimento (por exemplo, 189 tokens/seg) e baixo custo de treinamento (9 horas de GPU) congelando o modelo base e otimizando apenas parâmetros de baixo rango.

Significado e Alegações
O artigo alega que o AMBS aborda uma lacuna crítica no alinhamento de múltiplos objetivos em tempo de inferência. Ao restringir transformações específicas de objetivos dentro de uma representação compartilhada, o framework equilibra com sucesso o trade-off entre satisfazer objetivos distintos (Utilidade, Inofensividade, Honestidade) e manter consistência entre eles. Os autores afirmam que essa abordagem previne o "colapso de eixo" e a instabilidade observados em métodos anteriores de alinhamento conjunto, oferecendo uma solução robusta para implantar LLMs confiáveis sem a necessidade de retreinamento custoso ou arquiteturas modulares complexas. Os resultados sugerem que o alinhamento é efetivamente capturado no nível da representação, com a decodificação servindo como um passo de consolidação em vez da fonte primária de ganhos.

Limitações
Os autores reconhecem limitações incluindo a escala da avaliação, a dependência de juízes proxy (LLMs) para métricas em vez de extensa avaliação humana, e o foco atual em modelos apenas decodificadores. Trabalhos futuros são sugeridos para incluir estudos humanos maiores, configurações de segurança mais amplas e extensão para modelos multimodais.