Resumo Técnico: Aprendizado por Reforço Impulsionado por Energia Livre com Moldagem Adaptativa de Vantagem (FREIA)

Declaração do Problema

O aprendizado por reforço (RL) não supervisionado emergiu como um paradigma crítico para permitir a autoaperfeiçoamento em Modelos de Linguagem de Grande Escala (LLMs) sem depender de supervisão de verdade fundamental custosa. No entanto, os métodos existentes de RL não supervisionado sofrem de um desalinhamento fundamental com as dinâmicas de aprendizado em evolução do modelo.

As abordagens atuais geralmente se enquadram em duas categorias, ambas falhando em adaptar-se às capacidades em mudança do modelo durante o treinamento:

1. Métodos Intrínsecos à Trajetória: Estes derivam recompensas de medidas intrínsecas como incerteza do modelo ou autoinformação. Eles arriscam reforçar respostas de alta confiança, mas incorretas, particularmente quando a capacidade de raciocínio do modelo é limitada, levando a uma incompatibilidade entre confiança e correção.
2. Métodos Baseados em População: Estes dependem de consenso coletivo (por exemplo, votação majoritária) para determinar a correção. Embora explorem o acordo do grupo, frequentemente descartam caminhos de raciocínio minoritários valiosos. Isso cria um viés onde majorias incorretas recebem recompensas máximas, e minorias corretas são penalizadas, especialmente nos estágios iniciais de treinamento ou fases de "consenso fraco".

Além disso, os métodos existentes aplicam moldagem de vantagem estática independentemente da evolução da distribuição de recompensas. À medida que o treinamento progride de uma fase de "Consenso Fraco" (recompensas altas esparsas) para uma fase de "Consenso Forte" (maioria dominante), a normalização estática ou penaliza excessivamente respostas corretas raras ou recompensa excessivamente outliers estocásticos, levando a convergência prematura ou overfitting a sinais enganosos.

Metodologia: FREIA

Para abordar essas limitações, os autores propõem o FREIA (Aprendizado por Reforço Impulsionado por Energia Livre com Moldagem Adaptativa de Vantagem), um algoritmo inovador que integra duas inovações-chave para alinhar a otimização da política com as dinâmicas de aprendizado internas do modelo.

1. Recompensa Impulsionada por Energia Livre (FER)

Fundamentada no Princípio da Energia Livre (FEP), a FER reestrutura o autoaperfeiçoamento como um processo de minimização da energia livre. Ela decompõe o objetivo de recompensa em dois componentes adaptativos:

• Alinhamento de Consenso: Incentiva o modelo a alinhar-se com a solução mais provável (o modo da distribuição amostrada).
• Exploração: Incentiva a descoberta de caminhos de raciocínio diversos quando o modelo exibe alta incerteza.

O mecanismo opera em três etapas:

1. Afiamento de Crença: Respostas únicas são tratadas como hipóteses. Um mecanismo não linear de afiamento (controlado pelo parâmetro $\alpha$) converte frequências de respostas em pesos de crença, distinguindo consenso robusto de ruído estocástico.
2. Confiança do Grupo ($C_G$): Uma métrica derivada da entropia de Shannon da distribuição de crença quantifica o grau de consenso do grupo. $C_G \to 1$ indica alta certeza, enquanto $C_G \to 0$ indica alta incerteza.
3. Formulação Adaptativa de Recompensa: A recompensa final $R_i$ para um caminho de raciocínio é uma compensação dinâmica:
   $$R_i = C_G \cdot r_{cons}(y_i) + (1 - C_G) \cdot r_{explore}(y_i)$$
   Em estados de alta confiança, o modelo prioriza o consenso. Em estados de baixa confiança, o modelo é incentivado a explorar caminhos diversos, mitigando efetivamente a convergência prematura para soluções subótimas.

2. Moldagem Adaptativa de Vantagem (AAS)

Reconhecendo que as distribuições de recompensa mudam continuamente durante o treinamento, a AAS ajusta dinamicamente os sinais de vantagem usados para atualizações de política com base na assimetria da distribuição de recompensas.

• Assimetria Positiva (Recompensas Altas Esparsas): Ocorre quando respostas de alta recompensa são raras. A normalização padrão atribuiria vantagens excessivamente grandes a esses outliers. A AAS atenua essas vantagens positivas para evitar que o modelo faça overfitting a sinais estocásticos potencialmente enganosos.
• Assimetria Negativa (Recompensas Altas Prevalentes): Ocorre quando a maioria das respostas são de alta recompensa. A normalização padrão atribuiria grandes penalidades a desvios ocasionais de baixa recompensa. A AAS atenua essas vantagens negativas para evitar que o modelo se corrija excessivamente com base em variações raras, potencialmente inofensivas.

A vantagem final $\hat{A}_i$ é modulada por pesos adaptativos derivados da assimetria $S$, garantindo atualizações de política estáveis em diferentes fases de treinamento.

Contribuições Principais

1. Identificação de Desalinhamento: O artigo identifica que os métodos existentes de RL não supervisionado falham em adaptar-se às capacidades de raciocínio em evolução e ignoram distribuições de recompensa em mudança, levando a otimização de política subótima.
2. Algoritmo FREIA: A introdução de um framework unificado apresentando:
   • FER: Um mecanismo de recompensa que equilibra consenso e exploração com base no Princípio da Energia Livre, ajustando dinamicamente os pesos via Confiança do Grupo.
   • AAS: Uma técnica de moldagem de vantagem que modula sinais de aprendizado com base na assimetria estatística da distribuição de recompensas.
3. Validação Empírica: Avaliação abrangente demonstrando que o FREIA supera as bases de RL não supervisionado existentes em múltiplas tarefas de raciocínio.

Resultados Experimentais

Os autores avaliaram o FREIA em nove conjuntos de dados cobrindo três tarefas de raciocínio: raciocínio matemático, geração de SQL e raciocínio multimodal.

• Raciocínio Matemático: Usando o modelo DeepSeek-R1-Distill-Qwen-1.5B, o FREIA superou outros métodos não supervisionados em uma média de 0,5 a 3,5 pontos em Pass@1 em benchmarks como MATH500, AIME24 e AIME25. Notavelmente, o FREIA alcançou desempenho comparável ou superior ao GRPO supervisionado (Aprendizado por Reforço com Recompensas Verificáveis) em várias métricas, apesar da falta de rótulos de verdade fundamental.
• Generalização: O FREIA demonstrou forte transferibilidade para geração de SQL (Spider, BIRD) e raciocínio multimodal (Geometry3K), superando bases como TTRL, Entropy e Intuitor.
• Dinâmicas de Treinamento: Análise das curvas de treinamento mostrou que o FREIA equilibra efetivamente exploração e consenso. A pontuação de Confiança do Grupo ($C_G$) aumentou ao longo do tempo, indicando redução da incerteza, enquanto o componente de exploração permaneceu ativo o suficiente para evitar colapso de modo.
• Estudos de Ablação: Remover qualquer um dos componentes de Consenso ou Exploração da FER, ou o módulo AAS, resultou em degradação significativa de desempenho, confirmando a necessidade de ambas a formulação adaptativa de recompensa e a moldagem dinâmica de vantagem.

Significado e Afirmações

O artigo afirma que o FREIA fornece um novo paradigma para alinhamento em cenários onde dados rotulados não estão disponíveis. Ao integrar o Princípio da Energia Livre com análise estatística adaptativa, o FREIA permite que LLMs alcancem autoaperfeiçoamento eficaz sem supervisão externa.

Os autores enfatizam que sua abordagem:

• Mitiga o "Viés da Maioria": Diferentemente de métodos de votação estáticos, o FREIA pode identificar e recompensar caminhos minoritários corretos quando o consenso é fraco ou incorreto.
• Garante Estabilidade: A AAS previne a instabilidade causada por recompensas de outliers no início do treinamento e penalidades excessivas no final do treinamento.
• Escalabilidade: Embora os experimentos atuais sejam limitados a modelos de até 3B de parâmetros devido a restrições de recursos, os autores postulam que os princípios subjacentes do FREIA são projetados para escalar para modelos de base maiores.

O trabalho conclui que a minimização da energia livre através do cultivo adaptativo de consenso e exploração produz capacidades de raciocínio mais robustas do que a supervisão baseada apenas em resultados, oferecendo uma solução principial para raciocínio não supervisionado em LLMs.