Resumo Técnico: Irracionalidade sobreposta ao Desalinhamento de Valor em Raciocínio de LLMs

Declaração do Problema

Apesar do progresso significativo no alinhamento de Grandes Modelos de Linguagem (LLMs) com funções de valor alvo através de métodos como Ajuste Fino Supervisionado (SFT), Aprendizado por Reforço com Feedback Humano (RLHF) e Otimização de Preferência Direta (DPO), uma lacuna crítica permanece. Mesmo quando um LLM está bem alinhado durante o treinamento, ele pode falhar em maximizar o valor alinhado durante a inferência. Este artigo argumenta que o desalinhamento de valor (onde a própria função de valor aprendida é incorreta) não é a única fonte de falha; em vez disso, a irracionalidade no raciocínio persiste. Esta irracionalidade é definida como a incapacidade do modelo de selecionar a melhor resposta disponível entre seus candidatos amostrados, mesmo quando esses candidatos de alta utilidade existem dentro da distribuição de saída do modelo.

Metodologia

Formalização do Risco de Valor Racional

Os autores formalizam matematicamente este fenômeno como Risco de Valor Racional (RVR).

• Raciocínio Racional: Definido como a estratégia que maximiza a utilidade esperada na direção mais íngreme sob uma determinada função de valor.
• Risco de Valor Racional ($R$): A discrepância de utilidade entre a estratégia de raciocínio implantada de um modelo ($d_\theta$) e seu correspondente racional ($d^\circ_\theta$).
  $$R(d_\theta) = \mathbb{E}_{x \sim \rho, o \sim P(\cdot|x,y^\circ)}[U(o)] - \mathbb{E}_{x \sim \rho, y \sim d_\theta, o \sim P(\cdot|x,y)}[U(o)]$$
  Onde $y^\circ$ é a resposta racional e $y$ é a resposta gerada pela estratégia implantada.

Estimativa com Limite de Computação

Como o raciocínio perfeitamente racional é inviável de computar devido aos recursos finitos, o artigo introduz um framework de raciocínio racional com limite de computação.

1. Conjunto de Candidatos: Para um determinado prompt, $K$ amostras independentes são extraídas do modelo.
2. Utilidade Empírica: A utilidade de cada candidato é estimada via $L$ chamadas de verificadores (ou verificações determinísticas).
3. Estimador: O Risco de Valor Racional Empírico ($\hat{R}_{M,K,L}$) é calculado como a diferença entre a utilidade empírica máxima encontrada nos $K$ candidatos (representando o melhor possível de implantação) e a utilidade empírica média da estratégia implantada.

Decomposição de Erro

A estimativa do erro de RVR é decomposta em três componentes distintos:

1. Erro de Aproximação de Candidato: O risco de que o conjunto finito de $K$ amostras não contenha uma resposta de alta utilidade.
2. Erro de Amostragem de Prompt: Erro estatístico decorrente da avaliação em um número finito de prompts ($M$).
3. Erro de Verificação: Erro introduzido por verificadores estocásticos ou imperfeitos ($L$).
   O artigo fornece limites teóricos (Teorema 1) mostrando que o erro total é limitado pelo erro de aproximação de candidato mais um termo dependente do número de prompts e da confiança do verificador.

Configuração Experimental

O estudo avalia uma ampla gama de modelos (de 7B a 72B parâmetros e APIs proprietárias) através de diversos benchmarks:

• Tarefas Conversacionais: UltraFeedback, AlpacaEval (usando verificadores estocásticos).
• Raciocínio Verificável: GSM8K, MATH, HumanEval e MathArena (usando verificadores determinísticos ou quase determinísticos).
• Modelos: Famílias Llama-3.1, Qwen-2.5, Tülu-3 e modelos proprietários (GPT-5.2, GPT-5.5, DeepSeek-V4).
• Variáveis: Os experimentos variam a temperatura de amostragem, orçamentos de votação de autoconsistência e comprimentos de raciocínio (orçamentos de tokens).

Resultados Principais

Os experimentos validam quatro hipóteses primárias:

1. H1: O Risco de Valor Racional é Generalizado.
   Em todos os modelos e benchmarks, o RVR é consistentemente positivo. Os modelos frequentemente geram candidatos de alta utilidade (Alta Utilidade Esperada Racional, REU) mas falham em implantá-los consistentemente (Menor Utilidade Esperada Atual, AEU). Por exemplo, no benchmark MathArena, mesmo modelos fortes como o GPT-5.2 exibem um RVR de 0,360, representando 70,6% da discrepância total de utilidade.

2. H2: O Alinhamento de Valor Reduz, mas Não Elimina o RVR.
   Estágios de alinhamento pós-treinamento (SFT $\to$ DPO $\to$ RLVR) geralmente melhoram o AEU e reduzem o RVR. No entanto, um risco significativo permanece mesmo após o RLVR. Em alguns casos (ex: Tülu-3-70B no MathArena), o alinhamento melhora a capacidade do modelo de amostrar respostas de alta utilidade (aumentando o REU), mas o RVR na verdade aumenta como uma proporção do erro total, indicando que a estratégia implantada ainda falha em selecionar os melhores candidatos.

3. H3: O RVR é Altamente Sensível à Estratégia de Inferência.

   • Temperatura: Aumentar a temperatura de amostragem frequentemente melhora o REU (ao encontrar melhores candidatos), mas aumenta o RVR porque o modelo falha em selecionar o melhor de forma consistente.
   • Autoconsistência: Aumentar o orçamento de votação (autoconsistência) reduz significativamente o RVR ao melhorar o AEU enquanto o REU permanece estável.

4. H4: Raciocínios Mais Longos Melhoram a Racionalidade com Retornos Decrescentes.
   Estender o comprimento do raciocínio (orçamento de tokens) pode reduzir o RVR, mas os benefícios são não monotônicos e diminuem após um certo limiar (ex: $T \ge 256$ ou $1024$). Em benchmarks de implantação difíceis como o MathArena, o raciocínio mais longo melhora levemente o REU, mas falha em melhorar o AEU, mantendo o RVR alto.

Significância e Alegações

O artigo afirma ser o primeiro a definir formalmente e medir empiricamente o Risco de Valor Racional em raciocínio de LLMs, separando explicitamente a irracionalidade em tempo de inferência do desalinhamento de valor.

• Dimensão de Avaliação Distinta: Os autores postulam que a racionalidade é uma dimensão distinta e complementar ao alinhamento de valor. Um modelo pode estar perfeitamente alinhado (sabendo o que é valioso) e, contudo, ser irracional (falhando em agir sobre esse conhecimento durante a inferência).
• Ferramenta de Diagnóstico: O framework serve como uma ferramenta de diagnóstico para identificar se as lacunas de desempenho se devem à incapacidade de gerar respostas de alta qualidade (falha de amostragem) ou à incapacidade de selecioná-las (falha de implantação).
• Limitações: O trabalho foca na utilidade definida sobre as respostas finais, não sobre trajetórias de raciocínio. Não propõe novos algoritmos para corrigir o RVR, mas fornece a base teórica e empírica para futuros algoritmos de tempo de inferência (ex: busca guiada por verificador) para minimizar a utilidade não realizada.

Em conclusão, o artigo demonstra que a "irracionalidade sobreposta ao desalinhamento de valor" é um problema onipresente nos LLMs atuais, sugerindo que melhorias futuras no desempenho de raciocínio devem abordar não apenas o que o modelo aprende, mas como ele raciocina e seleciona respostas durante a inferência.