Resumo Técnico: CORE – Reflexão Contrastiva Habilita Melhorias Rápidas no Raciocínio

Declaração do Problema

Os modelos de linguagem possuem a capacidade de melhorar tarefas de raciocínio usando recompensas verificáveis, mas as abordagens atuais sofrem de ineficiências significativas. Métodos paramétricos (por exemplo, GRPO) e métodos não paramétricos (por exemplo, GEPA, otimização de prompt) tipicamente exigem centenas de amostras de treinamento e milhares de execuções do modelo para alcançar progresso significativo. Isso os torna computacionalmente caros e frequentemente intratáveis para adaptação rápida. Em contraste, os humanos podem frequentemente dominar novas tarefas com apenas um punhado de problemas de prática. O desafio central abordado por este trabalho é como habilitar modelos de linguagem a aprender a partir de recompensas verificáveis com eficiência de amostra e execução semelhante à humana, mantendo a interpretabilidade e evitando a opacidade das atualizações de pesos.

Metodologia: CORE (Reflexão Contrastiva)

CORE é um algoritmo de aprendizado não paramétrico projetado para um modelo de linguagem congelado. Em vez de atualizar pesos do modelo ou otimizar um único prompt global, o CORE aprende gerando e acumulando "insights"—descrições em linguagem natural curtas de estratégias ou restrições de raciocínio que distinguem tentativas de problemas bem-sucedidas das mal-sucedidas.

O algoritmo opera através de quatro componentes principais:

1. Armazenamentos de Memória Externa:

   • Memória de Execução ($R$): Armazena traços de raciocínio passados (problema, insights recuperados, saída do modelo, recompensa) indexados por incorporações de problemas.
   • Memória de Insights ($I$): Armazena insights em linguagem natural pareados com estimativas de utilidade empírica. Para cada insight, o sistema rastreia o número de aplicações e a utilidade média relativa à linha de base.

2. Amostragem de Problemas Viciada para Falhas:
   Para maximizar a eficiência de aprendizado, o CORE vicia a amostragem em direção a problemas que o modelo resolve com menos confiabilidade. Ele calcula um peso de amostragem baseado na estimativa atual de precisão, misturando amostragem viciada para falhas com amostragem uniforme para garantir a cobertura do conjunto de treinamento.

3. Reflexão Contrastiva (O Mecanismo Central):
   Quando o modelo falha em resolver um problema, o CORE dispara uma etapa de reflexão. Ele recupera uma execução bem-sucedida ($\tau^+$) de um problema semanticamente similar (ou do mesmo problema se resolvido anteriormente) e a contrasta com a execução falha ($\tau^-$). O modelo congelado é instruído a gerar insights candidatos descrevendo as estratégias ou restrições que explicam a diferença entre sucesso e falha.

   • Teste de Admissão: Insights candidatos não são armazenados imediatamente. Eles passam por um teste de admissão onde o modelo tenta o problema de origem usando apenas aquele insight candidato. Um insight é admitido na memória apenas se melhorar a taxa de sucesso sobre a linha de base (especificamente, se levar a uma solução correta na primeira tentativa nos experimentos).

4. Recuperação Consciente de Utilidade:
   Durante a inferência, o CORE recupera insights com base em uma pontuação combinando similaridade semântica (entre o problema atual e problemas passados onde o insight foi usado) e utilidade empírica (a taxa de sucesso observada do insight em problemas similares). Isso permite que o modelo aplique seletivamente insights que se provaram eficazes no passado.

Contribuições Principais

1. Inovação Algorítmica: Introdução do CORE, um algoritmo não paramétrico que habilita modelos de linguagem congelados a aprender a partir de recompensas verificáveis gerando, testando e acumulando insights abstratos em linguagem natural, em vez de atualizar pesos ou otimizar prompts.
2. Ganhos de Eficiência: Demonstração em quatro tarefas de raciocínio (Torre de Hanói, MathGAP, ZebraLogic, Aritmética de Palitos de Fósforo) de que o CORE supera tanto as linhas de base paramétricas (GRPO) quanto as não paramétricas (GEPA, RAG Episódico, MemRL) em eficiência de amostra (aprendendo com menos amostras de treinamento) e eficiência de execução (aprendendo com menos tentativas do modelo).
3. Eficiência de Contexto: Evidência de que o CORE é substancialmente mais eficiente em contexto do que as linhas de base não paramétricas. Enquanto métodos como RAG Episódico e MemRL adicionam dezenas de milhares de tokens ao prompt ao recuperar traços completos, o CORE comprime a experiência em insights compactos, adicionando significativamente menos tokens por avaliação.
4. Interpretabilidade: Os artefatos aprendidos são insights transparentes em linguagem natural pareados com estimativas de utilidade, oferecendo uma alternativa mais interpretável a atualizações de parâmetros opacas ou otimização de prompt.
5. Análise de Ablação: Identificação de que tanto a reflexão contrastiva (comparando falha versus sucesso) quanto a recuperação consciente de utilidade são componentes necessários para o desempenho do algoritmo.

Resultados Experimentais

Os autores avaliaram o CORE em quatro tarefas de raciocínio usando o modelo gpt-oss-120b, comparando-o com GRPO, GEPA, RAG Episódico e MemRL em regimes de treinamento de 5, 10 e 100 amostras.

• Eficiência de Execução: No regime de 10 amostras, o CORE alcançou uma precisão em dados de retenção mais alta do que qualquer linha de base em 350 execuções de treinamento. Mesmo quando as linhas de base tiveram permissão para 4.000 execuções e o CORE foi limitado a 2.100, o CORE estabilizou em um desempenho final mais alto.
• Eficiência de Amostra: Através de 12 condições de tarefa por regime de dados, o CORE alcançou a maior precisão média em dados de retenção em 9 delas. Ele melhorou sobre a linha de base sem aprendizado em aproximadamente 54–56% através de 5, 10 e 100 exemplos de treinamento.
• Eficiência de Contexto: O CORE adicionou uma média de 0,92k tokens por item de avaliação, comparado a ~33k para o RAG Episódico e ~32k para o MemRL. Foi aproximadamente 1,4x mais eficiente em contexto do que o GEPA.
• Qualidade do Insight: A análise dos insights admitidos revelou que eles se enquadram em três categorias funcionais: Estruturação do espaço de busca (heurísticas para reduzir possibilidades), Rastreamento de estado intermediário (atualização de quantidades/movimentos) e Verificação e validação (checagem de restrições). Esses insights foram encontrados como abstrações procedimentais em vez de resumos de episódios específicos.

Significado e Alegações

O artigo postula que a eficiência do aprendizado humano decorre da capacidade de revisitar sucessos e falhas passados para descobrir princípios explícitos e abstratos. O CORE operacionaliza isso destilando contrastes entre traços bem-sucedidos e mal-sucedidos em conhecimento reutilizável.

Os autores afirmam que o CORE oferece uma rota mais eficiente e interpretável para a autoaperfeiçoamento do modelo do que atualizações de pesos, otimização de prompt ou reutilização direta de traços de raciocínio armazenados. Ao armazenar "hipóteses de atribuição de crédito" (insights) em vez de dados brutos ou pesos, o CORE reduz o risco de introduzir comportamentos indesejados associados a atualizações opacas. O trabalho sugere que a chave para a melhoria rápida não reside apenas no que é aprendido, mas em como é representado e recuperado: como insights em linguagem natural compactos e ponderados por utilidade derivados da reflexão contrastiva.

Limitações notadas pelos autores:

• O CORE assume acesso a recompensas verificáveis, limitando a aplicabilidade a domínios com feedback binário claro.
• A atualização de utilidade atribui o mesmo resultado a todos os insights recuperados, deixando a atribuição de crédito mais granular entre múltiplos insights sem resolução.
• Reflexão e teste de admissão introduzem custos adicionais de inferência.
• Os experimentos estão atualmente limitados a tarefas de raciocínio, planejamento e resolução de problemas de turno único.