Beyond Experience Retrieval: Learning to Generate Utility-Optimized Structured Experience for Frozen LLMs

Resumo Técnico: SEAM (Structured Experience Adapter Module)

O artigo propõe uma nova abordagem para permitir que Modelos de Linguagem de Grande Escala (LLMs) "aprendam" com experiências passadas sem a necessidade de modificar seus parâmetros originais ou depender de sistemas de recuperação externa (RAG) lentos e ruidosos.

1. O Problema: Limitações da Estática e da Recuperação (RAG)

Atualmente, os LLMs são majoritariamente estáticos: ao enfrentar problemas novos, eles tendem a raciocinar do zero, repetindo erros cometidos anteriormente. As soluções atuais para mitigar isso geralmente utilizam RAG (Retrieval-Augmented Generation), que busca experiências passadas em uma biblioteca externa baseada em similaridade semântica. Os autores identificam três falhas críticas no RAG:

• Similaridade $\neq$ Utilidade: Um exemplo semanticamente próximo pode não ser útil para resolver o problema atual ou pode introduzir ruído que desestabiliza o raciocínio.
• Latência e Custo: A busca em bibliotecas externas e a necessidade de chamadas extras ao LLM para resumir informações aumentam o tempo de resposta.
• Falta de Adaptação ao Executor: As experiências recuperadas não são otimizadas para as fraquezas ou vieses específicos de um modelo executor determinado.

2. Metodologia: O Módulo SEAM

Em vez de uma biblioteca externa, os autores introduzem o SEAM (Structured Experience Adapter Module), um plugin leve e treinável que codifica a experiência diretamente em seus próprios parâmetros.

Arquitetura e Funcionamento:

• Parametrização da Experiência: O SEAM funciona como um gerador que, em uma única passagem (forward pass), sintetiza uma entrada de experiência estruturada e personalizada para o problema atual.
• Esquema Estruturado (Schema): A experiência gerada segue um formato fixo para garantir controle e estabilidade, contendo:
  1. Análise do Problema: Avaliação da dificuldade e possíveis pontos de falha.
  2. Destaques da Experiência: Estratégias e heurísticas úteis para o executor.
  3. Plano de Referência: Um procedimento passo a passo (workflow) para guiar o raciocínio.
• Treinamento via GRPO (Group Relative Policy Optimization): O SEAM é treinado enquanto o executor (o modelo principal) permanece congelado. O processo envolve:
  1. Exploração: O SEAM gera vários candidatos de experiência.
  2. Rollout e Avaliação: O executor tenta resolver o problema usando cada candidato, e o sucesso é medido por uma recompensa binária (acerto da resposta + completude do esquema).
  3. Evolução da Política: O SEAM é atualizado usando GRPO para aumentar a probabilidade de gerar experiências que resultem em maior sucesso para o executor.

3. Principais Contribuições

• Mudança de Paradigma: Transição de "Recuperação de Experiência" (baseada em busca) para "Geração de Experiência" (baseada em utilidade).
• Otimização para Utilidade: O SEAM não busca o que é "parecido", mas sim o que é "eficaz" para o executor específico.
• Eficiência de Inferência: Ao eliminar a busca em bancos de dados externos, o SEAM reduz a latência e o custo computacional.
• Evolução Contínua: O modelo permite o refinamento pós-implantação através de Supervised Fine-Tuning (SFT) usando logs de sucessos reais.

4. Resultados Experimentais

Os testes foram realizados em benchmarks de raciocínio matemático (GSM8K, MATH, AIME), utilizando executores como Qwen3 e DeepSeek-R1.

• Desempenho Superior: O SEAM superou consistentemente todos os baselines, incluindo modelos treinados diretamente via GRPO e métodos baseados em RAG (como MEM-0 e Memento).
• Ganhos em Tarefas Difíceis: Os maiores ganhos de precisão ocorreram em problemas de nível de competição (AIME), onde a orientação estruturada é mais crítica.
• Eficiência de Tempo: O SEAM apresentou uma vantagem significativa no "Tempo para o Acerto" (Time-to-correct), pois, embora adicione uma pequena latência inicial, ele reduz drasticamente o tempo gasto em tentativas erradas.
• Generalização: O módulo mostrou capacidade de melhorar o desempenho em domínios diferentes (como código e QA), mesmo tendo sido treinado apenas em matemática.

5. Significância

O trabalho é significativo por demonstrar que é possível conferir "memória de procedimento" a modelos de linguagem sem o custo proibitivo de re-treinar modelos gigantescos. O SEAM estabelece um caminho para agentes de IA que aprendem com seus erros de forma modular, eficiente e altamente especializada para o modelo que estão auxiliando, pavimentando o caminho para sistemas de IA mais autônomos e adaptáveis.