Post-Training at the Edge of Detectability: A Game-Theoretic Approach to Fine-Tuning

Resumo Técnico: Pós-Treinamento na Fronteira da Detectabilidade

Definição do Problema
O ajuste fino por aprendizado por reforço (RL) é um mecanismo padrão para melhorar grandes modelos de linguagem (LLMs) em tarefas específicas, enquanto tenta preservar os comportamentos herdados de uma política de referência. A abordagem predominante, o RL regularizado por KL, equilibra esses objetivos maximizando uma função de recompensa sujeita a uma penalidade pelo desvio da política de referência, controlada por um coeficiente de regularização $\beta$. O artigo identifica uma limitação crítica: não existe um método fundamentado para definir $\beta$. Na prática, $\beta$ é selecionado via ajuste manual heurístico ou busca em grade de hiperparâmetros. Essa abordagem acarreta um custo computacional significativo e frequentemente resulta em trade-offs subótimos entre a maximização da recompensa e a retenção comportamental (frequentamente denominada "imposto de alinhamento"). Além disso, os métodos adaptativos existentes ainda exigem que o aprendiz especifique previamente uma divergência alvo ou uma heurística de atualização.

Metodologia: O Jogo de Detecção Sequencial
Os autores propõem um framework de teoria dos jogos para resolver a ambiguidade do coeficiente de regularização. Eles formulam um jogo de detecção sequencial envolvendo dois jogadores:

1. O Agente: Busca implantar uma política $\tilde{\pi}$ para maximizar a recompensa cumulativa.
2. O Monitor: Observa as saídas de prompt-resposta do agente sequencialmente e tenta detectar desvios da política de referência $\pi_{ref}$ enquanto controla a taxa de erro do Tipo I (taxa de falsos positivos) em um nível $\alpha$.

O jogo procede em passos de tempo discretos. Se o teste de hipótese sequencial do monitor rejeitar a hipótesa nula (que as saídas provêm de $\pi_{ref}$), a implantação é encerrada e a utilidade do agente é limitada à recompensa acumulada até esse tempo de parada. O monitor visa minimizar o tempo de parada esperado, enquanto o agente visa maximizar a recompensa cumulativa esperada antes da detecção.

Análise Teórica e Equilíbrio
O artigo estabelece que o equilíbrio de Nash deste jogo produz um resultado estrutural específico:

• Estratégia do Monitor: A melhor resposta do monitor é um Teste de Razão de Verossimilhança Sequencial (SPRT) visando a política real do agente.
• Estratégia do Agente: A política ótima do agente é uma inclinação (tilt) da política de referência regularizada por KL. Especificamente, a política de equilíbrio $\pi_{\beta^*}$ resolve o objetivo padrão de RL regularizado por KL (Equação 1) com um coeficiente específico e endógeno, $\beta^*$.

Crucialmente, o coeficiente de equilíbrio $\beta^*$ não é um hiperparâmetro livre, mas é determinado pela razão entre a recompensa esperada e a divergência KL esperada. O agente otimiza o programa fracionário:
$$\max_{\pi} \frac{\mathbb{E}[r(x, y)]}{\mathbb{E}[\text{KL}(\pi, \pi_{ref})]}$$
Isso fornece uma interpretação operacional da penalidade KL: ela representa o "preço sombra" de permanecer estatisticamente indistinguível da política de referência sob monitoramento sequencial. O $\beta^*$ de equilíbrio maximiza a recompensa por unidade de distinguibilidade estatística.

Algoritmo: Bisseção Estocástica
Para aprender o coeficiente de equilíbrio $\beta^*$ sem busca exaustiva em grade, os autores propõem o Algoritmo 1, um método de bisseção estocástica.

• O algoritmo trata a determinação de $\beta^*$ como um problema de busca de raiz para uma função $M(\beta) = \mathbb{E}[r] - \beta \cdot \mathbb{E}[\text{KL}]$.
• A raiz $\beta^*$ é o ponto onde o ganho marginal de recompensa é igual ao custo estatístico marginal.
• O algoritmo estreita iterativamente o intervalo $[\beta_{low}, \beta_{high}]$ resolvendo subproblemas de RL (usando um "Oráculo de RL" como PPO ou GRPO) para estimar o sinal de $M(\beta)$.
• A análise teórica mostra que o algoritmo converge para uma solução $\epsilon$-precisa em $O(\log(1/\epsilon))$ iterações, aproveitando técnicas de programação fracionária côncavo-convexa e teste de hipótese sequencial.

Resultados Experimentais
O framework foi avaliado no Qwen3-8B e Llama-3.2-1B em dois cenários:

1. Aprendizado Contínuo: O objetivo era maximizar o comprimento da resposta (recompensa) enquanto preservava a coerência narrativa e gramatical (retenção).

   • Descobertas: O Algoritmo 1 consistentemente selecionou políticas próximas ao "cotovelo" da fronteira de Pareto empírica de recompensa-retenção. Em contraste, buscas em grade com computação equivalente produziram frequentemente políticas nos extremos (ou alta recompensa/baixa coerência, ou baixa recompensa/alta coerência) ou exigiram seleção pós-hoc. A política de equilíbrio alcançou trade-offs competitivos, equilibrando efetivamente o "imposto de alinhamento".

2. Auditoria de Modelos: O objetivo era detectar se um provedor de API havia ajustado estrategicamente um modelo para produzir respostas mais longas permanecendo indetectável.

   • Descobertas: O SPRT prescrito pelo equilíbrio do monitor detectou modificações estratégicas significativamente mais rápido do que as linhas de base naturais (ex: testes de mistura uniforme), enquanto controlava estritamente a taxa de erro do Tipo I. Por exemplo, no Llama-3.2-1B, o teste do monitor detectou desvios em aproximadamente 1,75 a 5,31 passos, enquanto a linha de base exigiu de 6,23 a 20,36 passos, apresentando taxas de falsos positivos mais altas.

Significância e Alegações
O artigo reivindica três contribuições primárias:

1. Unificação Teórica: Fornece uma derivação baseada em teoria dos jogos para o objetivo padrão de RL regularizado por KL, mostrando que a política ótima em um jogo de detecção é precisamente a política inclinada por KL. Isso recupera uma prática amplamente utilizada, mas a fundamenta em um framework estatístico rigoroso.
2. Seleção de Hiperparâmetro Baseada em Princípios: Oferece um método para determinar o coeficiente de regularização $\beta$ endogenamente. Em vez de tratar $\beta$ como um hiperparâmetro ajustável, a abordagem de equilíbrio o define como o valor que maximiza a recompensa por unidade de distinguibilidade estatística.
3. Capacidade de Auditoria: O framework permite uma abordagem fundamentada para auditar APIs de modelos de código aberto. Demonstra que um monitor pode usar o teste de equilíbrio para detectar ajustes finos estratégicos e ocultos de forma mais eficiente do que as bases estatísticas padrão.

Os autores mantêm um tom modesto quanto aos seus resultados empíricos, descrevendo as descobertas de aprendizado contínuo como "evidência preliminar" e observando que trabalhos futuros são necessários para fechar a lacuna entre a análise de equilíbrio e o ajuste fino de RL em larga escala. Eles enfatizam que seu método permite a integração flexível em pipelines de ajuste fino padrão sem exigir novos objetivos, apenas um método fundamentado para selecionar a força de regularização.