Resumo Técnico: Onde os Caminhos se Dividem: Controle Localizado e Calibrado do Raciocínio Moral em Modelos de Linguagem de Grande Escala

Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) transitam de chatbots passivos para agentes ativos e simuladores sociais, a demanda pelo controle de seu comportamento ético evoluiu. Métodos existentes para orientar o comportamento do modelo, como engenharia de prompts ou a adição de vetores de orientação escalares, frequentemente carecem de interpretabilidade e garantias de calibração. Especificamente, a faixa eficaz dos coeficientes de orientação é incerta, e o grau resultante de adesão a uma perspectiva ética-alvo é imprevisível. Os autores argumentam que a orientação moral eficaz requer intervenções que sejam tanto localizadas (editando apenas onde os quadros éticos competem dentro da rede) quanto calibradas (produzindo efeitos previsíveis por meio de pesos de preferência limitados). O artigo foca no par canônico de quadros éticos: deontologia (deveres baseados em regras) e utilitarismo (resultados baseados em consequências), que frequentemente produzem prescrições conflitantes em dilemas morais.

Metodologia

A abordagem proposta, Roteamento Convergente-Divergente (CDR), opera no momento da inferência sem ajuste fino do modelo. Consiste em duas etapas principais:

1. Roteamento Convergente-Divergente (CDR) e Controle Binário

A hipótese central é que os quadros éticos competem em "pontos de ramificação" específicos dentro dos blocos de transformador, onde os caminhos convergem e depois divergem.

• Identificação do Ponto de Ramificação: O método identifica camadas onde as cabeças de atenção são compartilhadas entre quadros éticos (convergência), mas as unidades subsequentes da Rede Feed-Forward (FFN) divergem.
  • Cabeças de Atenção: Probes lineares são treinados em representações de cabeças de atenção para prever rótulos de quadro ético. Cabeças com alto desempenho preditivo são marcadas como relevantes.
  • Vetores FFN: Os autores identificam vetores FFN (colunas da matriz de projeção ascendente) que se alinham com direções éticas específicas derivadas de palavras indicadoras (por exemplo, "deontologia").
• Mecanismo de Portão (Gating): Nos pontos de ramificação identificados, o método bloqueia o fluxo das cabeças de atenção compartilhadas para unidades FFN não-alvo. Isso impede a propagação de sinais das cabeças compartilhadas para as unidades a jusante do quadro ético inativo, mantendo intactos os cálculos a montante.
• Controle Binário: Este bloqueio atua sozinho como um interruptor binário, impulsionando significativamente o raciocínio no quadro de destino sem prompts explícitos, efetivamente polarizando a saída do modelo.

2. Controle de Alta Granularidade via Calibração Dupla de Logits

Para alcançar controle calibrado e contínuo, em vez de apenas comutação binária, os autores introduzem um processo de duas etapas:

• Extração de Direção Emparelhada: Usando os fluxos residuais obtidos sob controle binário (onde um quadro é suprimido), os autores aplicam Padrões Espaciais Comuns (CSP), uma técnica adaptada do processamento de sinais de EEG. O CSP isola direções discriminativas ($u^{(l)}$ para utilitarismo e $d^{(l)}$ para deontologia) para cada camada de ponto de ramificação, maximizando a razão de variância entre as duas classes enquanto suprime a variância compartilhada.
• Calibração Dupla de Logits (DLC): Esta é uma atualização de forma fechada, com norma-$\ell_2$ mínima, aplicada ao fluxo residual nos passos de decodificação.
  • O método define logits direcionais baseados na projeção do fluxo residual sobre as direções extraídas.
  • Resolve um problema de otimização para encontrar uma atualização $\Delta h^{(l)}_t$ que minimize a norma da edição enquanto força as projeções direcionais resultantes a se alinharem com pesos de preferência especificados pelo usuário $(\alpha_U, \alpha_D)$, onde $\alpha_U + \alpha_D = 1$.
  • Isso substitui o coeficiente escalar ilimitado usado em métodos anteriores por pesos de preferência limitados no 1-simplexo, garantindo interpretabilidade e previsibilidade.

Contribuições Principais

1. Intervenção Localizada: O artigo introduz uma abordagem mecânica para orientação moral que visa "pontos de ramificação" específicos (cabeças de atenção compartilhadas divergindo em unidades FFN distintas) em vez de aplicar adições de vetores globais.
2. Controle Calibrado: Ao adaptar o CSP e introduzir a Calibração Dupla de Logits, o método permite controle de alta granularidade, onde a tendência ética do modelo pode ser ajustada continuamente para corresponder aos pesos especificados pelo usuário $(\alpha_U, \alpha_D)$.
3. Interpretabilidade: A abordagem fornece um mecanismo claro para como o raciocínio ético é manipulado, rastreando a competição entre quadros até componentes arquitetônicos específicos.
4. Preservação de Capacidades Gerais: A natureza localizada das edições garante que as capacidades gerais de linguagem (por exemplo, trivia, matemática, tradução) sejam amplamente preservadas, ao contrário de alguns métodos de orientação global que degradam o desempenho.

Resultados Experimentais

O método foi avaliado em dilemas morais da vida real (conjunto de dados AITA) usando LLaMA-2-7B-Chat, Vicuna-7B-v1.5 e Yi-1.5-6B-Chat.

• Controle Binário: O método polarizou com sucesso o comportamento do modelo em direção ao quadro de destino. Por exemplo, no LLaMA, definir $\alpha_U=1$ (utilitarismo puro) aumentou a taxa de saída utilitarista de uma linha de base de ~62% para ~84%, enquanto $\alpha_U=0$ a reduziu para ~20%.
• Calibração de Alta Granularidade: O método demonstrou uma relação quase monótona entre o peso de preferência de entrada $\alpha_U$ e a tendência utilitarista observada ($U_{op}$). O Erro Absoluto Médio (MAE) entre as taxas alvo e observada foi significativamente menor do que as linhas de base (Apenas Prompt, Orientação de Cabeça Top-K e Orientação de Proporção Pós-FFN da Melhor Camada), com desvios tipicamente dentro de 5 pontos percentuais.
• Estudos de Ablação:
  • Substituir o CSP por outros métodos de extração de direção (cPCA, PLS-DA) resultou em erros de calibração mais altos.
  • Remover o mecanismo de bloqueio (Gating) reduziu significativamente a capacidade do modelo de distinguir entre pesos de preferência altos e baixos, particularmente para o Vicuna.
  • A orientação em camadas únicas (sem a lógica completa do ponto de ramificação) foi menos eficaz do que o pipeline CDR completo.
• Capacidades Gerais: A avaliação em GSM8K, TriviaQA e tarefas de tradução mostrou degradação negligenciável nas capacidades gerais na maioria das configurações, com quedas apenas menores em pesos de preferência extremos para modelos específicos.
• Avaliação Humana: Anotadores humanos confirmaram que as justificativas do modelo corresponderam consistentemente ao quadro ético declarado (precisão de 0,81 para LLaMA e 0,85 para Vicuna).

Significado e Alegações

Os autores afirmam que seu trabalho fornece um mecanismo confiável, interpretável e calibrado para orientar LLMs em direção a quadros éticos específicos no momento da inferência. O significado reside em:

• Ir além dos vetores de orientação de "caixa preta" para uma compreensão mecânica de onde e como o raciocínio ético é processado em transformadores.
• Oferecer um esquema de controle calibrado onde o grau de alinhamento ético é previsível e limitado, abordando a incerteza dos coeficientes escalares em trabalhos anteriores.
• Demonstrar que edições localizadas podem deslocar posições de raciocínio de alto nível sem perturbar amplamente a inteligência geral do modelo.

O artigo conclui que, embora o foco atual seja no eixo binário de deontologia versus utilitarismo, o quadro de Roteamento Convergente-Divergente oferece um caminho para trabalhos futuros explorarem sistemas de valores mais pluralistas e espectros morais complexos. Os autores enfatizam a importância do uso responsável e da transparência, observando que a capacidade de orientar posições éticas carrega riscos de enquadramento seletivo em aplicações de alto risco.