Resumo Técnico: RSIBench-Data

Declaração do Problema

A auto-melhoria recursiva (RSI - Recursive Self-Improvement) exige que sistemas de IA convertam iterativamente evidências de falhas do modelo em melhorias eficazes. Um componente crítico desse processo é a pesquisa de pós-treinamento centrada em dados, que envolve o diagnóstico de lacunas de capacidade, o design de estratégias de dados de treinamento e o aprendizado a partir do feedback de checkpoints. Embora benchmarks recentes avaliem sistemas de pós-treinamento automatizados, eles frequentemente confundem decisões de pesquisa com otimização, serviço, avaliação e implementação de sistemas. Essa confluência torna difícil isolar a capacidade de pesquisa específica de agentes de Large Language Model (LLM). Os paradigmas existentes focam ou na seleção estática de dados de corpora fixos ou avaliam sistemas de ponta a ponta onde mudanças na infraestrutura confundem a avaliação da política de pesquisa do agente.

A questão central abordada é: Podem os agentes de LLM automatizar confiavelmente a pesquisa de pós-treinamento centrada em dados? Especificamente, um agente pode formular hipóteses sobre falhas do modelo, traduzi-las em dados de treinamento executáveis e revisar sua estratégia de síntese com base em feedback controlado, tudo isso enquanto a pilha de treinamento e avaliação circundante permanece fixa?

Metodologia: RSIBench-Data

Para abordar essa lacitação, os autores introduzem o RSIBench-Data, um benchmark controlado projetado para isolar o componente de pesquisa centrada em dados da RSI.

1. Infraestrutura e Fronteiras Fixas

Ao contrário de benchmarks anteriores que permitem que os agentes modifiquem toda a pilha de pós-treinamento, o RSIBench-Data fixa a "pilha circundante" para garantir que as variações de desempenho sejam atribuíveis exclusivamente às decisões de pesquisa do agente.

• Modelo Base: Um modelo base fixo ($M_0$) é usado para todos os experimentos.
• Interface de Treinamento: Os agentes interagem através de uma interface de configuração limitada. Eles submetem dados de treinamento ($D_t$) e uma configuração permitida ($c_t$), mas não podem modificar o otimizador, o caminho de serviço ou o backend LoRA SFT subjacente (implementado via serviços compartilhados Tinker).
• Avaliação: A avaliação oficial é conduzida via sandboxes E2B orquestradas pelo Harbor com verificadores e regras de pontuação fixos. Os agentes recebem apenas o feedback de seleção permitido (pontuações, trajetórias, diagnósticos) para iteração, não os resultados oficiais finais.

2. O Ciclo de Pesquisa

O benchmark avalia um processo iterativo onde um agente pesquisador ($\pi$) opera sob um orçamento de recursos fixo ($\mathcal{C}$):

1. Hipótese e Estratégia: O agente observa evidências do benchmark ($S$) e o histórico ($H_{<t}$) para propor uma estratégia de dados de treinamento.
2. Síntese e Treinamento: O agente sintetiza dados e os submete para treinamento, produzindo um checkpoint ($M_t$).
3. Feedback: O serviço de avaliação fixo retorna o feedback de seleção ($h_t$).
4. Revisão: O agente usa $h_t$ para refinar sua estratégia para a próxima rodada ou selecionar um checkpoint final.

A métrica primária é o desempenho oficial do checkpoint selecionado ($M_{t^*}$) em um conjunto de teste mantido fora (held-out), com análise secundária da trajetória de tentativas e eficiência de recursos.

3. Configuração Experimental

• Agentes: Quatro agentes pesquisadores de LLM de fronteira foram avaliados: Claude Code (Opus-4.8, Sonnet-5) e Codex (gpt-5.6-sol, gpt-5.6-terra).
• Benchmarks: Seis benchmarks distintos foram usados para testar diferentes regimes de experiência de treinamento:
  • Engenharia de Software: SWE-bench Verified, Multilingual e Pro.
  • Uso de Terminal: Terminal-Bench 2.0.
  • Raciocínio: GPQA Diamond e AIME 2026.
• Restrições: Cada execução teve um orçamento fixo (ex: 16 horas de tempo de relógio, custo de $500 em Tinker) e restrições rigorosas de uso de dados (ex: nenhum uso de rótulos exclusivos de avaliação para treinamento).

Principais Contribuições

1. Um Novo Alvo de Avaliação: O artigo define "pesquisa centrada em dados para auto-melhoria recursiva" como um loop de pesquisa distinto e automatizável, onde um agente gerencia a formação de hipóteses, validação de estratégia e seleção de checkpoint sob um orçamento fixo.
2. Um Benchmark Controlado: O RSIBench-Data fornece o primeiro benchmark que isola a capacidade de pesquisa do agente ao fixar a infraestrutura de treinamento, serviço e avaliação. Isso permite experimentos auditáveis onde as mudanças de infraestrutura são separadas do progresso da pesquisa.
3. Evidência Empírica de Capacidades e Fragilidade: O estudo fornece a primeira evidência em larga escala de como os agentes de fronteira performam nesse papel específico, revelando um "gap de descoberta-confiabilidade".

Resultados e Análise

1. Descoberta vs. Confiabilidade

• Sucesso Inicial: Os agentes demonstraram capacidades centrais de pesquisa, melhorando sobre sua primeira tentativa válida em 58,33% das configurações ao refinar estratégias com base no feedback.
• Inconsistência: No entanto, os agentes não conseguiram melhorar consistentemente. Entre as buscas que continuaram após atingir seu melhor escore observado, 78,26% terminaram com uma tentativa final com pontuação inferior ao pico, enquanto o restante apenas recuperou o mesmo pico. Isso indica que os agentes frequentemente falham em traduzir o feedback adicional em melhores estratégias, levando a um desempenho não monotônico.

2. Dependência de Tarefa e Falta de Dominância

• Nenhum agente único dominou em todos os benchmarks. Por exemplo, o Codex gpt-5.6-sol liderou nos benchmarks não-SWE, mas as três tarefas do tipo SWE foram vencidas por três agentes diferentes.
• As lacunas de desempenho foram significativas (até 20 pontos percentuais no AIME 2026), refletindo a interação entre a política do agente e a estrutura do benchmark, em vez da superioridade inerente do modelo.

3. Eficiência e Custo

• Pontuações oficiais altas não foram uniformemente caras. Alguns agentes alcançaram resultados fortes com custos baixos (ex: Codex gpt-5.6-sol no GPQA Diamond: pontuação de 65%, custo de $10,37), enquanto outros gastaram significativamente mais para ganhos modestos.
• Regressão Pós-Pico: Muitas execuções continuaram a busca após encontrar um candidato forte, incorrendo em custos adicionais sem renovar a fronteira de desempenho. A interrupção eficaz e a seleção de checkpoint foram identificadas como críticas para a eficiência.

4. Análise de Mecanismo

A análise de trajetória das execuções bem-sucedidas identificou quatro padrões associados a um melhor desempenho:

1. Hipóteses Precisas: Diagnóstico correto da lacuna de capacidade alvo.
2. Supervisão Baseada em Validação: Uso de sinais de validação para guiar a síntese de dados.
3. Dados Alinhados ao Comportamento: Garantir que os dados de treinamento correspondam ao comportamento avaliado.
4. Preservação de Checkpoint: Evitar a perda de checkpoints fortes durante revisões iterativas.

Um experimento inicial com uma configuração de RSI da mesma família (Kimi-K2.6) mostrou evolução de estratégia, mas falhou em produzir uma melhoria de modelo sobre a referência não adaptada, sugerindo que as capacidades atuais de RSI são insuficientes para melhorar modelos já capazes de instrução em benchmarks de agentes complexos.

Significância e Alegações

O artigo afirma que o RSIBench-Data fornece um ambiente mensurável e auditável para estudar as capacidades de pesquisa centradas em dados necessárias para a auto-melhoria recursiva.

Os autores concluem que, embora os agentes de LLM atuais possam fazer descobertas úteis de pesquisa centrada em dados (melhorando as tentativas iniciais em mais da metade dos casos), eles ainda não conseguem traduzir feedback em melhorias de forma consistente. O "gap de descoberta-confiabilidade" observado destaca que os agentes têm dificuldade em manter o progresso através de loops de feedback iterativos, frequentemente regredindo após encontrar um pico. O benchmark foi projetado para ajudar no desenvolvimento de agentes pesquisadores de dados mais confiáveis, tornando seus processos de pesquisa transparentes e isoláveis de variáveis de infraestrutura.