Resumo Técnico: SE-BENCH: Avaliação da Autoevolução com Internalização de Conhecimento

Definição do Problema

O artigo aborda uma lacuna crítica na avaliação de agentes autoevolutivos: a capacidade de internalizar conhecimento e habilidades novos para a aprendizagem ao longo da vida. Embora os benchmarks atuais avaliem adaptações transitórias (por exemplo, refinamento no momento da inferência ou auto-modificação iterativa), eles falham em medir rigorosamente a capacidade fundamental de internalização de conhecimento — o processo em que um agente aprende ativamente a partir da experiência para atualizar permanentemente seus parâmetros.

As avaliações existentes sofrem de dois confusos fundamentais:

1. Emaranhamento do Conhecimento Prévio: É difícil distinguir se um agente resolveu uma tarefa envolvendo conhecimento "novo" aprendendo-o durante o experimento ou recordando-o a partir de dados de pré-treinamento.
2. Emaranhamento da Complexidade do Raciocínio: Falhas em tarefas complexas são ambíguas; podem decorrer da incapacidade de internalizar o conhecimento necessário ou simplesmente da dificuldade lógica do raciocínio exigido.

Para resolver isso, os autores defendem um teste de "Agulha no Palheiro" para a autoevolução: um ambiente onde as tarefas são algoritmicamente triviais se o conhecimento estiver internalizado, mas impossíveis sem ele.

Metodologia: Construção do SE-BENCH

Os autores introduzem o SE-BENCH, um ambiente de diagnóstico projetado para ofuscar a biblioteca NumPy em um pacote pseudo-novo denominado ZWC. O pipeline de construção envolve três etapas:

1. Ofuscação:

   • Renomeação: 268 funções comuns do NumPy são mapeadas para identificadores aleatórios e semanticamente vazios (por exemplo, numpy.mean $\rightarrow$ zwc.kocito).
   • Implementação de Wrapper: Uma classe personalizada ZWCArray envolve todas as entradas e saídas para impedir que os modelos contornem a ofuscação chamando métodos padrão em matrizes NumPy subjacentes.
   • Reescrita da Documentação: A documentação da API é reescrita por um LLM para descrever o novo pacote ZWC, garantindo que a lógica permaneça isomórfica ao NumPy padrão, mas a sintaxe seja alienígena.

2. Geração de Questões:

   • Tarefas de Função Única: Problemas que exigem exatamente uma função específica do ZWC para serem resolvidos, garantindo 100% de cobertura da biblioteca.
   • Tarefas de Múltiplas Funções: Problemas complexos que exigem a composição de pelo menos três funções de um conjunto amostrado para testar a generalização para além da simples memorização.

3. Filtragem:

   • As tarefas são validadas por meio de um protocolo estrito de consenso usando três modelos de última geração (Qwen3-Coder, Gemini-2.5-Pro, GPT-OSS-120B). Uma tarefa é mantida apenas se todos os três puderem resolvê-la usando o NumPy padrão.
   • Verificação humana é realizada em um subconjunto aleatório para garantir clareza.

Protocolo de Avaliação:

• Fase de Treinamento: Os agentes recebem a descrição do problema e a documentação da API relevante do ZWC.
• Fase de Teste: Os agentes recebem apenas a descrição do problema. Eles devem depender inteiramente do conhecimento internalizado durante o treinamento.
• Métrica de Sucesso: Uma solução é correta apenas se passar em todos os casos de teste, usar as APIs do ZWC (verificado via análise AST) e contiver zero importações da biblioteca NumPy original.

Principais Contribuições e Insights

O artigo apresenta três insights principais derivados da avaliação de várias estratégias de autoevolução (baseadas em Memória, SFT, RL e Autojogo) no SE-BENCH:

1. O Paradoxo do Livro Aberto

A presença de documentação de referência durante as atualizações de parâmetros inibe a retenção de longo prazo.

• Descoberta: O Ajuste Fino Supervisionado Padrão (Open-SFT), onde a documentação está presente tanto durante a coleta de trajetórias quanto no treinamento, resulta em 0% de desempenho no conjunto de teste (sem documentação).
• Mecanismo: Remover a documentação durante a fase de treinamento (Closed-SFT) força o modelo a comprimir a lógica externa em seus pesos, em vez de depender do contexto. O Closed-SFT supera significativamente o Open-SFT, provando que a verdadeira internalização requer "fome de informação" durante a otimização.

2. A Lacuna do RL

O Aprendizado por Reforço (RL) padrão falha em internalizar novo conhecimento, mesmo no cenário de Livro Fechado.

• Descoberta: O Closed-RL alcança 0% de desempenho.
• Mecanismo: A falha é atribuída a dois mecanismos específicos no RL padrão (especificamente PPO/GRPO):
  • Clipping do PPO: Previne as grandes mudanças na massa de probabilidade necessárias para aprender novos mapeamentos de vocabulário (por exemplo, np.mean $\rightarrow$ zwc.kocito).
  • Gradientes Negativos: O uso de vantagens normalizadas introduz reforço negativo para respostas abaixo da média, o que erode associações tentativas antes que elas possam se solidificar durante os estágios frágeis iniciais da memorização.
• Sucesso Híbrido: Uma abordagem híbrida (Closed-SFT seguido de RL) alcança desempenho de última geração. Aqui, o SFT estabelece a memória fundamental, e o RL atua como um otimizador comportamental, podando palpites "preguiçosos" e melhorando a disciplina de execução sem corrigir erros fundamentais de memória.

3. Viabilidade do Autojogo

A autoevolução via dados gerados autonomamente é viável, mas o mecanismo de otimização é crítico.

• Descoberta: O autojogo puro por RL (Absolute-Zero) falha completamente (0%). No entanto, aplicar Closed-SFT a tarefas e respostas geradas autonomamente (Closed-SFTself) produz desempenho significativo (22,5% em tarefas de função única).
• Implicação: Os modelos são capazes de gerar currículos válidos para ensinar a si mesmos; a falha do autojogo padrão deve-se à inadequação do RL para a internalização de conhecimento, e não ao paradigma do autojogo em si.

Resultados

• Desempenho de Linha de Base: Métodos baseados em Memória (Expel) alcançaram resultados não triviais (até 47,1%) mapeando identificadores para conceitos conhecidos, mas falharam em alcançar retenção perfeita.
• Otimização de Parâmetros: Apenas os métodos Closed-SFT e o método Híbrido Closed-SFT-RL tiveram sucesso. Todos os outros métodos de atualização de parâmetros (Open-SFT, Open-RL, Closed-RL, Absolute-Zero) falharam completamente.
• Generalização: As descobertas (Paradoxo do Livro Aberto e Lacuna do RL) foram validadas em diferentes famílias de modelos (Qwen3 e Llama3) e escalas (de 1,7B a 30B parâmetros).
• Análise de Erros: O RL reduziu significativamente "Alucinações de Atributo" (adivinhar métodos inexistentes) ao encorajar o retorno a primitivas robustas, mas não corrigiu "Alucinações de Função" (nomes de API errados) ou "Desalinhamentos de Assinatura", confirmando o papel do RL como um otimizador comportamental e não como um internalizador de conhecimento.

Significado

O artigo posiciona o SE-BENCH como uma plataforma de diagnóstico rigorosa para a comunidade de agentes autoevolutivos. Seu significado reside em:

1. Isolamento da Internalização: Fornece um ambiente limpo e controlado para separar a internalização de conhecimento da complexidade do raciocínio e do vazamento de conhecimento prévio.
2. Ferramenta de Diagnóstico: Serve como um "teste unitário" para futuros agentes autoevolutivos, sugerindo que os agentes devem passar no SE-BENCH para serem confiáveis em evoluções complexas e abertas.
3. Insight Mecanístico: Desafia a suposição de que o RL é uma solução universal para a autoaprimoração, demonstrando que o SFT é superior para a internalização factual, enquanto o RL é mais adequado para otimizar a utilização de conhecimento já internalizado.
4. Pesquisa Futura: Estabelece uma base para estudar os mecanismos fundamentais da internalização de conhecimento, potencialmente orientando o design de algoritmos híbridos mais direcionados para o desenvolvimento de AGI.