Text2Grad: Reinforcement Learning from Natural Language Feedback

Resumo Técnico: TEXT2GRAD

Definição do Problema

O Aprendizado por Reforço com Feedback Humano (RLHF) tradicional geralmente depende de recompensas escalares para alinhar Grandes Modelos de Linguagem (LLMs) com as preferências humanas. Embora eficaz, essa abordagem comprime críticas multidimensionais em um único número, obscurecendo os locais específicos de erro ao nível do token. Esse sinal "grosseiro" leva a uma atribuição de crédito imprecisa, convergência mais lenta e reduzida interpretabilidade. Por outro outro lado, métodos existentes que utilizam feedback em linguagem natural (ex: ReAct, Reflexion) frequentemente aplicam críticas apenas no momento da inferência para guiar a autocorreção sem atualizar os parâmetros do modelo, tornando o feedback efêmero e falhando em internalizar lições para gerações futuras.

O desafio central abordado por este trabalho é como transformar o feedback de linguagem natural livre em sinais de treinamento acionáveis e diferenciáveis que permitam a otimização da política em nível de token de forma detalhada.

Metodologia: TEXT2GRAD

Os autores propõem o TEXT2GRAD, um framework que converte críticas em linguagem natural em "Gradientes de Linguagem Natural" (NL-Gradients) para impulsionar atualizações de política. O método opera através de um pipeline de três estágios:

1. Anotação de Recompensa de Feedback Dual

Para gerar dados de treinamento de alta qualidade, os autores empregam um pipeline de anotação aumentado por raciocínio utilizando um LLM forte (GPT-4o). Para um determinado prompt e resposta do modelo, o anotador produz:

• Crítica em Linguagem Natural ($c$): Uma explicação em texto livre sobre pontos fortes e fracos.
• Mapa de Recompensa por Intervalo (Span-Level Reward Map) ($A(y)$): Um objeto JSON estruturado identificando intervalos de texto específicos como "positivos" ou "negativos", explicitamente fundamentados na crítica via raciocínio de Cadeia de Pensamento (CoT).
• Mapeamento ao Nível de Token: Esses rótulos de intervalo são convertidos em um vetor de pseudo-recompensa ao nível de token $\delta = (\delta_1, \dots, \delta_T)$, onde tokens dentro de intervalos positivos recebem $+1$, intervalos negativos recebem $-1$ e tokens neutros recebem $0$.

2. Treinamento de Modelo de Recompensa Generativo

Um modelo de recompensa unificado ($R_\phi$) é treinado para gerar conjuntamente a crítica em linguagem natural e o mapa de recompensa estruturado por intervalo em uma única passagem autorregressiva. Enquadrado como uma tarefa de geração de texto condicional, o modelo aprende a produzir uma sequência $z = [c; A(y)]$ dado um prompt $x$ e uma resposta $y$. Esta abordagem evita a necessidade de modelos de recompensa escalar separados e garante que o feedback esteja semanticamente alinhado com os rótulos estruturados.

3. Otimização de Política por NL-Gradient

A inovação central reside no passo de otimização. Em vez de usar uma recompensa escalar de nível de sequência, o TEXT2GRAD calcula um Gradiente de Linguagem Natural:
$$\nabla_{NL}(c \to y) = \sum_{t=1}^{T} \delta_t \nabla_\theta \log \pi_\theta(y_t | x, y_{<t})$$
Aqui, $\delta_t$ atua como um peso ao nível de token derivado do feedback textual. Esses pesos são integrados em um objetivo de Otimização de Política Próxima (PPO) modificado. As pseudo-recompensas ao nível de token são usadas para calcular vantagens densas via Estimativa de Vantagem Generalizada (GAE), permitindo que a política atualize partes específicas bem-sucedidas ou problemáticas da saída enquanto deixa outras partes intocadas.

Principais Contribuições

1. Formulação de NL-Gradients: O artigo formula o problema de aprender com feedback de linguagem natural via otimização baseada em gradiente, apresentando o TEXT2GRAD como o primeiro framework completo para converter texto livre em gradientes de nível de intervalo para atualizações diretas de política.
2. Pipeline Unificado: Os autores desenvolvem um pipeline de anotação escalável e um modelo de recompensa generativo unificado que produz supervisão estruturada por intervalo interpretável, unindo o raciocínio linguístico e a atribuição de crédito diferenciável.
3. Validação Empírica: O método é validado em três domínios diversos: sumarização (SLF5K), geração de código (KodCode) e perguntas e respostas de domínio aberto (UltraFeedback).

Resultados Experimentais

O TEXT2GRAD foi avaliado contra baselines fortes, incluindo PPO de recompensa escalar, Otimização de Preferência Direta (DPO), Modelos de Recompensa de Processo (PRM-PPO) e métodos de reflexão baseados em prompt.

• Sumarização (SLF5K): O TEXT2GRAD alcançou desempenho estado da arte, superando o PPO de recompensa escalar em +25,3% em BLEU e +6,7 em ROUGE-L. Também demonstrou uma convergência 22% mais rápida comparada ao PPO.
• Geração de Código (KodCode): O método melhorou significativamente a precisão pass@1, ganhando +5,8 pontos no MBPP+ e +3,6 no HumanEval+ sobre o PPO, demonstrando robustez superior a casos de teste adversários.
• Perguntas e Respostas (UltraFeedback): O TEXT2GRAD mostrou melhorias consistentes sobre o modelo base e o PPO, com um ganho de 2,3 pontos no AlpacaEval 2.0 e melhoria nos scores de raciocínio no ARC-Challenge.
• Estudos de Ablação: A remoção do componente de raciocínio de Cadeia de Pensamento (CoT) levou a uma degradação consistente de desempenho, confirmando que explicações estruturadas em linguagem natural são essenciais para uma atribuição de crédito eficaz ao nível de token.
• Eficiência: Embora introduza um overhead computacional modesto (~9–11% por passo devido à passagem forward do modelo de recompensa), a anotação por intervalo reduziu os custos de token em 85–90% em comparação com a rotulagem densa ao nível de token.

Significância e Alegações

O artigo afirma que o TEXT2GRAD estabelece o feedback de linguagem natural não meramente como uma ferramenta de interpretabilidade ou um guia de tempo de inferência, mas como um sinal de treinamento direto e acionável. Ao alinhar frases de feedback com intervalos de tokens relevantes e convertê-las em gradientes, o método permite:

• Atribuição de Crédito Precisa: O modelo aprende a corrigir erros específicos em vez de aplicar ajustes globais.
• Interpretabilidade: Cada passo de atualização é fundamentado em feedback legível por humanos.
• Eficiência de Amostra: O método converge mais rápido e alcança métricas de tarefa mais altas com menos amostras de treinamento em comparação ao RLHF de recompensa escalar.

Os autores concluem que converter linguagem em gradientes abre um novo caminho para construir modelos de linguagem que aprendem com supervisão semelhante à humana, indo além da supervisão escalar em direção a um alinhamento mais detalhado, interpretável e eficaz.