Resumo Técnico: Adaptação de Modelos de Linguagem via Viés de Logit Frustrantemente Simples (Black-Box)

Declaração do Problema

Organizações frequentemente precisam adaptar modelos de linguagem (LMs) de fronteira para tarefas internas específicas, como melhorar a precisão de domínio, impor formatação de saída estrita ou reduzir a verbosidade. No entanto, técnicas de adaptação padrão como ajuste fino (fine-tuning), Ajuste de Parâmetros Eficientes (PEFT) ou Aprendizado por Reforço com Feedback Humano (RLHF) são frequentemente inviáveis. Esses métodos normalmente exigem acesso aos pesos do modelo, gradientes ou estados ocultos, que não estão disponíveis quando os modelos são implantados exclusivamente via APIs de inferência. Alternativas de caixa-preta (black-box) existentes, como a otimização de prompts, consomem o comprimento do contexto e podem interferir no conteúdo da tarefa.

Este artigo aborda o desafio de adaptar modelos de linguagem congelados sob restrições de acesso mínimas: o implantador não pode modificar pesos, não pode realizar retropropagação (backpropagation) e deve confiar apenas em controles de decodificação expostos pela API. Especificamente, os autores investigam se um único vetor de viés de logit (logit-bias vector), independente de contexto, pode servir como um primitivo de adaptação leve.

Metodologia

Mecanismo Central

O método proposto introduz um vetor de viés de logit fixo $\delta \in \mathbb{R}^{|\mathcal{V}|}$ (onde $\mathcal{V}$ é o vocabulário) que é adicionado aos logits do modelo em cada etapa de decodificação.

• Modelo Congelado: Os pesos do modelo base permanecem completamente inalterados.
• Independência de Contexto: Ao contrário de prompts ou prefix-tuning, $\delta$ não varia com base no prompt de entrada ou no prefixo gerado.
• Aprendizado de Caixa-Preta (Black-Box): O vetor $\delta$ é aprendido usando apenas trajetórias (rollouts), recompensas e probabilidades de tokens do modelo base, sem acesso a gradientes internos.

Fundamentação Teórica

A abordagem é fundamentada em um objetivo de Aprendizado por Reforço (RL) regularizado por KL. O ótimo não restrito para maximizar a recompensa $r$ enquanto permanece próximo à política base $p_0$ (regularizada por $\tau$) é uma política dependente de prefixo $p^\star_\tau$.

• A correção de logit ideal em qualquer etapa $t$ é teoricamente $\log Z(x, y_{1:t-1}, \cdot)$, onde $Z$ é um "valor suave" (soft value) que representa a recompensa exponencial esperada.
• Os autores postulam que, se essa correção ideal aproximadamente se fatorar em um componente específico do token $\delta(y)$ e uma linha de base dependente de prefixo $c_t(x, y_{1:t-1})$, um único vetor fixo $\delta$ pode aproximar a política ótima.
• Eles derivam um limite de lacuna de recompensa (reward-gap bound) mostrando que a perda de desempenho ao usar um viés fixo versus a política ótima dependente de prefixo depende do erro de aproximação $\varepsilon$ e do horizonte $T$.

Algoritmo de Estimativa

Para aprender $\delta$ sem gradientes, os autores propõem um estimador de Pontuação de Propensão Inversa (IPS) de forma fechada:

1. Rollouts On-Policy: Gerar trajetórias $y_{1:T} \sim p_0(\cdot|x)$ a partir do modelo base.
2. Amostragem de Intervenção: Para cada trajetória, amostrar passos de tempo aleatórios $t$ e tratar o token $y_t$ como uma intervenção (fixando-o enquanto o restante da trajetória é amostrado do modelo base).
3. Estimador: O viés ao nível populacional $\delta(y)$ é estimado como o logaritmo da média da recompensa exponencial para trajetórias onde o token $y$ aparece, ponderado pela inversa da probabilidade desse token sob o modelo base:
   $$\hat{Z}(y) = \frac{1}{NP} \sum_{(x, y_{1:T}, t, r) \in \mathcal{D}} \frac{\mathbb{1}\{y_t = y\} \exp(r/\tau)}{\pi_0(y | x, y_{1:t-1})}$$
4. Suavização (Smoothing): O viés de logit final é computado como $\hat{\delta}(y) = \log(\alpha + \hat{Z}(y)) - c(\alpha)$, onde $\alpha$ é uma constante de suavização para lidar com dados esparsos e evitar erros de log-zero.

Principais Contribuições

1. Configuração de Adaptação de Caixa-Preta: O artigo formaliza um cenário para personalizar LMs congelados usando apenas um único vetor de viés de logit, independente de contexto, que não requer atualizações de peso ou acesso a gradientes.
2. Análise Teórica: Deriva um estimador IPS de forma fechada, conectando o direcionamento por viés de logit ao ótimo regularizado por KL, e fornece um limite teórico para a lacuna de recompensa entre a política de viés fixo e o ótimo não restrito.
3. Validação Empírica: O método mostra melhorias nos modelos base em benchmarks matemáticos e de raciocínio, além de controlar efetivamente o comprimento da conclusão, utilizando significativamente menos parâmetros treináveis e computação do que o ajuste fino convencional.

Resultados Experimentais

Configuração

• Modelos: Meta-Llama-3.1-8B-Instruct, Gemma-2-9B-IT e Qwen3-4B.
• Tarefas: MATH, GSM8K e GPQA-main (acurácia); e um objetivo de compressão (redução de contagem de tokens).
• Linhas de Base (Baselines): Modelo base, uma linha de base de viés de logit de 32 clusters e LoRA-GRPO (uma linha de base de ajuste fino com $\sim 10^7$ parâmetros).

Desempenho de Acurácia

• Viés de Logit de Vocabulário Total: Alcançou ganhos consistentes e pequenos sobre o modelo base em todos os benchmarks (ex: MATH: $30,30\% \to 33,14\%$; GPQA: $22,20\% \to 28,90\%$).
• Comparação: A linha de base de 32 clusters teve desempenho similar ao modelo base, sugerindo que o sinal é específico do token e não um deslocamento de frequência grosseiro. O LoRA-GRPO superou significativamente o viés de logit (ex: MATH: $45,24\%$), confirmando que a adaptação no espaço de pesos captura o raciocínio dependente de contexto melhor do que um viés fixo.

Desempenho de Compressão

• O método reduziu com sucesso os comprimentos de conclusão para Gemma-9B e Llama-8B enquanto preservava a acurácia, traçando uma fronteira de Pareto entre acurácia e comprimento.
• O Qwen3-4B mostrou mudança mínima de comprimento.
• O LoRA-GRPO alcançou uma compressão muito mais agressiva ao alterar o raciocínio interno e comportamentos de parada, enquanto o viés de logit aprendeu principalmente padrões de finalização e parada reutilizáveis.

Análise dos Vieses Aprendidos

• Esparsidade: Apenas uma pequena fração das coordenadas do vocabulário (aprox. 1,3%) excedeu o portão de tamanho de efeito (effect-size gate).
• Estrutura:
  • Viés de Acurácia: Promoveu tokens relacionados a limites de resposta, formatação matemática e strings de parada decisivas. Suprimiu tokens de "deriva" (drift) como reiterações de perguntas ou modos de tutoriais.
  • Viés de Compressão: Promoveu tokens de parada/limite enquanto suprimiu tokens de explicação e derivação, embora isso tenha carregado o risco de compressão excessiva.

Significância e Alegações

O artigo afirma que o viés de logit aprendido serve como um primitivo de adaptação de caixa-preta e leve, situado entre a engenharia de prompt e o ajuste fino completo.

• Utilidade: Oferece uma solução prática para organizações com acesso apenas via API, permitindo melhorias na formatação, controle de verbosidade e ganhos modestos de acurácia sem o overhead operacional de treinamento.
• Limitações: Os autores são modestos quanto às capacidades do método, reconhecendo que um viés fixo não pode reescrever o raciocínio, codificar regras condicionais ou corrigir erros específicos de contexto. É eficaz para padrões "reutilizáveis" (formatação, parada), mas falha onde o raciocínio dependente de contexto é necessário.
• Conclusão: Embora não seja um substituto para o ajuste fino quando os pesos são acessíveis, o viés de logit aprendido é um mecanismo viável e de baixo custo para adaptar modelos de linguagem sob restrições de acesso estritas.