Resumo Técnico: Self-CTRL: Treinamento de Autoconsistência com Aprendizado por Reforço

Declaração do Problema

Modelos de Linguagem (LMs) frequentemente produzem explicações que não são fiéis aos seus processos reais de tomada de decisão. Os modelos costumam declarar princípios (ex: "Eu não gerarei conteúdo discriminatório") que deixam de seguir ao responder a solicitações específicas de usuários. Essa falta de autoconsistência mina a confiança do usuário, complica a auditoria e dificulta a capacidade dos desenvolvedores de monitorar o alinhamento do modelo. O treinamento padrão otimiza os modelos para produzir respostas plausíveis a prompts individuais isolados, sem impor uma relação entre explicações de meta-nível (o que o modelo diz que fará) e comportamentos de nível de objeto (o que o modelo realmente faz). Consequentemente, os modelos podem aprender a responder a meta-questões de forma plausível sem que essas respostas predigam seu comportamento em entradas relacionadas.

Metodologia: Self-CTRL

O artigo apresenta o Self-Consistency Training with Reinforcement Learning (Self-CTRL), um framework que otimiza explicitamente os LMs para a consistência entre suas autoexplicações e seus comportamentos. O método trata a explicação e o comportamento como saídas pareadas geradas a partir de entradas distintas, porém relacionadas:

• Entrada de meta-nível ($x_{meta}$): Uma consulta pedindo ao modelo para descrever seu comportamento em uma classe de entradas (ex: "Descreva como você lida com solicitações envolvendo discriminação").
• Entrada de nível de objeto ($x$): Uma instância concreta dessa classe (ex: uma solicitação específica para gerar texto discriminatório).

O modelo amostra separadamente uma explicação ($y_{meta}$) e um comportamento ($y$). Uma função de consistência externa, $\phi(y_{meta}, y; x_{meta}, x)$, pontua se a explicação prevê ou justifica corretamente o comportamento.

Estrutura de Otimização

O Self-CTRL formula a consistência como um problema de aprendizado por reforço. O objetivo é minimizar uma função de perda derivada da pontuação negativa de consistência esperada:
$$L(x, x_{meta}) = -\mathbb{E}_{y, y_{meta}}[\phi(y_{meta}, y; x_{meta}, x)]$$

O framework suporta duas direções de aprendizado complementares, que podem ser otimizadas independentemente ou conjuntamente via uma combinação convexa ($\lambda$):

1. Treinamento de Explicação ($\lambda = 0$): Atualiza o modelo para gerar explicações que predizem melhor seu comportamento existente. Isso produz relatórios próprios mais fiéis, sem necessariamente alterar as ações do modelo.
2. Treinamento de Comportamento ($\lambda = 1$): Atualiza o comportamento do modelo para satisfazer melhor suas explicações declaradas. Isso alinha as ações do modelo com seus princípios.
3. Treinamento Misto ($0 < \lambda < 1$): Otimiza simultaneamente tanto as explicações quanto os comportamentos.

O treinamento utiliza um estimador do tipo GRPO, amostrando grupos de explicações e comportamentos candidatos. Um comportamento (ou explicação) de referência é fixado, e as recompensas são atribuídas com base na pontuação de consistência $\phi$.

Instanciação de $\phi$

A função de consistência $\phi$ é instanciada de forma diferente dependendo do domínio:

• Domínio Formal/Probabilístico: $\phi$ é computada como o log-verossimilhança do comportamento observado sob a distribuição probabilística descrita pela explicação (ex: um viés de moeda declarado prevendo uma sequência de lançamentos de moeda).
• Domínio Constitucional/Linguagem Natural: Como regras de linguagem natural não induzem verossimilhanças diretas, $\phi$ é instanciada usando um Júri de LM. Múltiplos LLMs atuando como juízes com diferentes frameworks éticos (ex: utilitarismo, deontologia) avaliam se o comportamento cumpre a regra declarada. A pontuação final é a média dos vereditos desses jurados.

Contribuições Principais e Experimentos

O artigo valida o Self-CTRL em dois domínios distintos:

1. Raciocínio Probabilístico com Explicações Formais

• Configuração: Modelos são treinados para gerar amostras de moedas viciadas (comportamento) e relatar o viés como um programa (explicação).
• Descobertas: Inicialmente, os modelos conseguiam gerar amostras calibradas, mas falhavam em articular o viés subjacente (baixo $R^2$). Após o treinamento de explicação do Self-CTRL, a correlação entre o viço articulado e o comportamento empírico melhorou significativamente ($R^2$ de 0,24 para 0,64 em distribuições não vistas). Isso igualou o desempenho de generalização de um modelo treinado com supervisão direta de verdade fundamental (ground-truth), demonstrando que o treinamento de consistência pode recuperar estruturas latentes sem rótulos explícitos.

2. IA Constitucional com Explicações de Linguagem Natural

• Configuração: Modelos são treinados para descrever princípios para lidar com solicitações relevantes à segurança (ex: discurso de ódio, discriminação) e, em seguida, responder a essas solicitações.
• Descobertas:
  • Treinamento de Explicação: Melhorou a capacidade de um auditor de terceiros prever recusas do modelo com base nas regras declaradas pelo modelo. A precisão de previsão de recusa por um modelo auditor aumentou de 36% para 92%.
  • Treinamento de Comportamento: Melhorou o alinhamento ao reduzir a taxa de sucesso de ataque do HarmBench de 15,0% para 0,5%, sem aumentar substancialmente a recusa excessiva (over-refusal) em prompts inofensivos.
  • Treinamento Misto: Alcançou um trade-off de Pareto-ótimo, melhorando simultaneamente a simulabilidade (explicações prevendo o comportamento) e a segurança (reduzindo saídas prejudiciais).

Resultados e Significância

O artigo afirma que o Self-CTRL fornece uma receita geral para treinar modelos de IA para serem mais seguros, transparentes e controláveis. Os principais resultados incluem:

• Fidelidade: O método alinha com sucesso o que os modelos dizem com o que eles fazem, abordando o problema da "explicação não fiel".
• Escalabilidade: Como a consistência é avaliada usando o próprio modelo (ou um júri de LM), o método escala para gerar grandes quantidades de evidências pareadas.
• Interface Nativa: As autoexplicações são elicitadas através do mesmo canal que os usuários interagem, tornando-as diretamente úteis para confiança e depuração.
• Generalização: O método demonstra generalização fora de contexto, recuperando vieses latentes e refinando fronteiras de recusa em dados não vistos sem supervisão direta.

Os autores posicionam o Self-CTRL como um complemento à interpretabilidade externa. Ao contrário de auditorias externas, ele treina os modelos para tornar suas regularidades comportamentais explícitas em linguagem natural. O artigo nota modestamente limitações, como o potencial para os modelos convergirem para pontos fixos triviais (ex: regras vagas de "seja seguro") se o espaço de explicação não for restringido, e a dependência da qualidade do juiz de consistência (o júri de LM). No entanto, os experimentos sugerem que, com um design cuidadoso (prompts estruturados, júris diversos), esses problemas podem ser mitigados.