Resumo Técnico: SkillMentor

Declaração do Problema

As abordagens atuais para a autoevolução de agentes concentram-se predominantemente na execução: aprender como agir atualizando os parâmetros do executor ou refinando bases de conhecimento externas. Esses métodos negligenciam amplamente o diagnóstico: a capacidade de descobrir os "pontos cegos" de um agente (modos de falha recorrentes) sem supervisão externa. Os procedimentos diagnósticos existentes são tipicamente projetados, fixos ou dependem de dados rotulados por humanos para especificar o que precisa de reparo. Consequentemente, a capacidade de identificar autonomamente o que um agente não sabe permanece uma capacidade não aprendida.

Os autores postulam que o diagnóstico é conceitualmente distinto da execução. Para estudar isso isoladamente, eles propõem um cenário onde:

1. O Executor (o agente realizando tarefas) está congelado; seus pesos nunca são atualizados.
2. Nenhum dado rotulado por humanos está disponível; o sistema não pode depender de exemplos anotados para especificar falhas.
3. Todas as melhorias de desempenho devem originar-se exclusivamente de uma capacidade diagnóstica aprendida.

Metodologia: SkillMentor

O artigo propõe o SkillMentor, um framework que treina uma pequena política Mentor ($\pi_\theta$) via Aprendizado por Reforço (RL) para diagnosticar e reparar um Executor congelado ($\pi_E$). O sistema opera através de um ciclo de feedback de autoevolução consistindo em três estágios:

1. Descoberta de Pontos Cegos

O Mentor interage com o ambiente para gerar tarefas diagnósticas.

• Exploração: O Mentor explora o ambiente para sintetizar tarefas candidatas que desafiem o Executor.
• Diversidade: Um buffer de diversidade impede que a exploração colapse em padrões de comportamento estreitos.
• Avaliação de Lacuna: Para cada tarefa candidata, um modelo de referência forte ($M$) gera uma trajetória e uma pontuação de alta qualidade ($s^M$). O Executor congelado tenta a mesma tarefa usando seu repositório de habilidades atual, gerando uma pontuação ($s^E$).
• Recompensa: A recompensa de descoberta ($r_{disc}$) é definida como a lacuna diagnóstica: $\delta = \max(0, s^M - s^E)$. Tarefas com maiores lacunas são priorizadas para curadoria.

2. Curadoria de Habilidades

O Mentor transforma os pontos cegos identificados em habilidades corretivas reutilizáveis armazenadas em um repositório externo.

• Operações: O Mentor pode ADICIONAR novas habilidades, ATUALIZAR as existentes ou MESCLAR habilidades.
• Validação: Uma habilidade candidata só é aceita se for sintaticamente válida e, crucialmente, melhorar o desempenho do Executor na tarefa diagnosticada por uma margem $\Delta > 0.5$.
• Recompensa: A recompensa de curadoria ($r_{curate}$) combina a conformidade de formato e a melhoria de desempenho ($\Delta$).
• Manutenção: Um mecanismo leve de EXCLUSÃO remove habilidades com baixas taxas de sucesso (< 0.05) para evitar o inchaço do repositório.

3. Otimização Conjunta

O Mentor é treinado usando GRPO (Group Relative Policy Optimization) para maximizar um objetivo combinado:
$$J_{GRPO}(\theta) = J_{disc} + J_{curate} - \beta D_{KL}(\pi_\theta \parallel \pi_{ref})$$
Os autores argumentam que a descoberta e a curadoria formam um ciclo de feedback positivo: a descoberta de pontos cegos leva a melhores habilidades, enquanto melhores habilidades deslocam a fronteira de capacidade do Executor, expondo novos pontos cegos anteriormente ocultos. A otimização conjunta é essencial para manter este ciclo.

Principais Contribuições

1. Diagnóstico como uma Capacidade Aprendível: O artigo demonstra que o diagnóstico de pontos cegos pode ser aprendido como uma política adaptativa, em vez de ser um procedimento fixo e projetado ou um subproduto da escala do modelo.
2. Autoevolução sem Atualização de Pesos: O SkillMentor alcança ganhos de desempenho significativos em um Executor congelado sem atualizar seus parâmetros, baseando-se inteiramente em um repositamente de habilidades externo e em evolução.
3. Restrição de Zero Dados Humanos: O framework opera sem supervisão humana ou dados rotulados, forçando o sistema a descobrir e reparar falhas recorrentes de forma autônoma.
4. Interpretabilidade: Ao contrário dos métodos que internalizam o conhecimento nos pesos, o SkillMentor armazena habilidades como arquivos Markdown legíveis por humanos, fornecendo um mapa interpretável das deficiências do Executor.

Resultados Experimentais

Os autores avaliaram o SkillMentor no AppWorld (planejamento de longo horizonte) e no BFCLv3 (chamada de função precisa) usando três diferentes Executors congelados (Qwen3.5-9B, Qwen3.5-4B e DeepSeek-R1-Distill-Qwen-7B).

• Ganhos de Desempenho: O SkillMentor alcançou uma melhoria relativa média de 44,2% sobre a linha de base "Sem Habilidade" (No Skill) em todos os executores e conjuntos de dados.
• Comparação com Modelos Fortes: O Mentor de 4B treinado via RL superou consistentemente modelos significativamente maiores e baseados em prompt (ex: DeepSeek-V4-Flash) usados como mentores estáticos, sugerindo que o treinamento direcionado por RL é mais eficaz do que a mera escala de modelos para diagnóstico.
• Transferibilidade: Habilidades aprendidas de Executors mais fracos (que expõem mais pontos cegos) transferiram-se efetivamente para Executors mais fortes, frequentemente aproximando-se ou excedendo o desempenho das habilidades auto treinadas do modelo mais forte. Inversamente, habilidades de modelos mais fortes foram menos eficazes em modelos mais fracos.
• Estudos de Ablação: Remover qualquer uma das recompensas de descoberta ou curadoria, ou desacoplar as políticas, resultou em quedas significativas de desempenho, confirmando a necessidade de otimização conjunta.
• Robustez: O desempenho do sistema foi robusto à escolha do "LLM Juiz" (o modelo forte usado para avaliação), com modelos de nível Flash de baixo custo alcançando resultados próximos ao ótimo.

Significância e Alegações

O artigo afirma que o diagnóstico de pontos cegos é uma capacidade aprendível que pode ser otimizada independentemente da execução. Ao tratar o diagnóstico como um problema de otimização de política, o SkillMentor permite a autoevolução de agentes sem o custo computacional de retreinar grandes pesos de executores ou o ônus de privacidade/custo da supervisão humana.

Os autores enfatizam que esta abordagem muda o paradigma de "aprender como agir melhor" para "aprender o que o agente não sabe". O repositório de habilidades resultante serve não apenas como um produto do diagnóstico, mas como um motor para a autoevolução contínua, onde a descoberta de novos pontos cegos e a curadoria de habilidades corretivas se reforçam mutuamente. Este trabalho sugere que futuros agentes autoevoluíveis devem incorporar políticas diagnósticas dedicadas e aprendidas, em vez de depender apenas de prompting fixo ou atualizações de parâmetros.