Resumo Técnico: OPENSKILL: Evolução Própria em Mundo Aberto para Agentes de LLM

1. Definição do Problema: Evolução Própria em Mundo Aberto

Os atuais agentes de LLM com evolução própria dependem tipicamente de um "ciclo de aprendizado utilizável" que pressupõe o acesso a habilidades curadas, trajetórias de execução bem-sucedidas ou sinais de verificação explícitos (ex: recompensas, respostas de verdade fundamental/ground-truth) durante a fase de aprendizado. No entanto, implantações em mundo aberto na vida real frequentemente fornecem apenas um prompt de tarefa inicial e acesso a recursos externos, carecendo de habilidades iniciais ou sinais de supervisão.

Este artigo define Evolução Própria em Mundo Aberto como um cenário onde um agente deve:

1. Começar apenas com uma instrução de tarefa ($I_i$) e um ambiente de execução ($E_i$).
2. Acessar recursos de mundo aberto (documentação, repositórios, páginas da web), mas excluir respostas alvo ocultas, recompensas ou saídas de verificadores.
3. Construir tanto suas habilidades (artefatos comportamentais reutilizáveis) quanto seus próprios sinais de verificação do zero.
4. Melhorar o desempenho sem supervisão da tarefa alvo durante o processo de evolução, reservando a avaliação de verdade fundamental exclusivamente para a análise final.

O desafio central é que fatos isolados são insuficientes; o agente deve inferir o que aprender e construir um ciclo de aprendizado acoplado onde a mesma evidência de mundo aberto fornece tanto o conhecimento a ser aprendido quanto a supervisão para refinar esse conhecimento.

2. Metodologia: O Framework OpenSkill

O OpenSkill é um pipeline de três estágios projetado para impulsionar este ciclo de autoevolução sem vazamento de supervisão da tarefa alvo. Ele opera sob uma rigorosa "barreira de vazamento" que impede que a verdade fundamental ($T^{GT}_i$) entre na fase de construção de habilidades.

Estágio 1: Aquisição de Conhecimento de Mundo Aberto

O agente consulta recursos de mundo aberto para adquirir dois tipos distintos de conhecimento:

• Conhecimento de Construção de Habilidade ($k_i$): Recupera conceitos de base, melhores práticas, documentação de API e citações relevantes para a tarefa.
• Conhecimento de Verificação ($k^v_i$): Recupera âncoras verificáveis de forma independente, como valores de referência de documentos oficiais, invariantes estatísticos de conjuntos de dados conhecidos, procedimentos de validação cruzada e padrões de domínio.
• Planejamento de Habilidade: Um plano estruturado ($p_i$) é sintetizado, definindo a arquitetura da habilidade, procedimentos principais e regras de domínio.
• Prevenção de Vazamento: Todas as consultas são filtradas para excluir nomes de benchmarks e identificadores que possam levar às respostas alvo.

Estágio 2: Evolução de Habilidade Livre de Vazamento

O agente gera e refina habilidades iterativamente usando um Verificador Virtual:

• Geração de Testes Virtuais: Em vez de usar testes de verdade fundamental, o sistema gera um conjunto de testes virtuais ($\tilde{T}_i$) fundamentado no conhecimento de verificação ($k^v_i$). Esses testes consistem em asserções determinísticas (ex: verificar contagens de linhas, intervalos de métricas ou formatos de saída) que não requerem o conhecimento da resposta alvo.
• Refinamento Iterativo: O agente executa a tarefa com o conjunto de habilidades atual. Se a taxa de passagem virtual ($\tilde{r}$) for menor que 1, um Recuperador de Diagnóstico analisa as falhas para distinguir entre:
  • Bugs de Implementação: Corrigidos via autocorreção.
  • Lacunas de Conhecimento: Gatilho para a recuperação direcionada de novo conhecimento de mundo aberto.
• Terminação: O loop continua até que a taxa de passagem virtual atinja 1.0 ou um orçamento máximo de iterações ($J=3$) seja esgotado. O conjunto de habilidades final ($\hat{S}^*_i$) é o estado da habilidade ao término do loop.

Estágio 3: Avaliação de Alvo Zero-Shot

O artefato de habilidade refinado é implantado em um agente alvo (que pode diferir do agente de construção) em um cenário zero-shot. O desempenho é medido contra o conjunto de testes de verdade fundamental oculto ($T^{GT}_i$), que nunca foi acessado durante o processo de evolução.

3. Principais Contribuições

1. Definição de Evolução Própria em Mundo Aberto: O artigo formaliza um cenário onde agentes devem construir habilidades e sinais de verificação inteiramente a partir de recursos de mundo aberto, sem supervisão da tarefa alvo.
2. O Framework OpenSkill: Um pipeline inovador que impulsiona a autoevolução sintetizando habilidades transferíveis e um verificador virtual autoconstruído, fundamentado em fatos de mundo aberto em vez de respostas ocultas.
3. Validação Empírica: Demonstração de que o OpenSkill alcança taxas de passagem automatizadas superiores em múltiplos benchmarks e famílias de modelos, aderindo à restrição de não-supervisão.

4. Resultados Experimentais

O framework foi avaliado em três benchmarks (SkillsBench, SocialMaze, ScienceWorld) utilizando dois agentes alvo (Opus 4.6 e GPT 5.2).

• Desempenho: O OpenSkill alcançou a melhor taxa de passagem geral automatizada em todos os benchmarks. No SkillsBench, atingiu 43,6% (Opus 4.6) e 42,1% (GPT 5.2), superando os baselines de mundo fechado mais fortes (Skill-Creator e CoT) em +8,9 e +8,8 pontos percentuais, respectivamente. Aproximou-se consistentemente do limite superior curado por humanos.
• Transferibilidade entre Modelos: Habilidades geradas pelo OpenSkill usando o Opus 4.6 foram implantadas diretamente em modelos mais fracos (Haiku 4.5, Qwen 3 Coder, DeepSeek V3, Mistral Large 3) sem retreinamento. As habilidades geradas pelo OpenSkill produziram consistentemente as maiores recompensas em todos os modelos alvo, melhorando sobre o baseline sem habilidade em 5,5%–14,8%.
• Qualidade do Verificador: O verificador virtual autoconstruído, apesar de nunca acessar os testes de verdade fundamental, alcançou 80,5% de recall e 60,7% de concordância com os resultados de verdade fundamental. Cobriu 88,9% das intenções de teste de verdade fundamental através de tarefas amostradas.
• Estudos de Ablação:
  • Contagem de Iterações: O desempenho atingiu o pico em 3 iterações de refinamento; iterações excessivas levaram ao overfitting para o feedback virtual.
  • Contribuição de Componentes: Tanto o módulo de consulta de mundo aberto quanto o verificador virtual forneceram ganhos significativos e complementares sobre o baseline puramente paramétrico.

5. Significância e Alegações

O artigo afirma que o OpenSkill demonstra um caminho viável para agentes que podem continuar melhorando após a implantação em ambientes onde habilidades curadas e feedbacks confiáveis não estão disponíveis. Ao desacoplar a aquisição de habilidades da supervisão da tarefa alvo e ancorar a verificação em fatos independentes de mundo aberto, o OpenSkill permite:

• Escalabilidade: As habilidades são artefatos explícitos, não pesos do modelo, permitindo que sejam transferidas entre diferentes famílias de modelos.
• Fundamentação (Groundedness): As habilidades são derivadas de documentações e repositórios externos, mitigando a dependência do conhecimento paramétrico que pode estar desatualizado ou ser insuficiente para domínios de nicho.
• Aprendizado Sem Supervisão: O framework prova que um ciclo de auto-melhoria pode ser construído usando apenas um prompt de tarefa e recursos de mundo aberto, sem a necessidade de uma "resposta de ouro" durante a fase de treinamento.

Os autores reconhecem limitações, incluindo o potencial de ruído nas fontes de mundo aberto, o risco de tarefas virtuais serem fáceis demais (superestimando a qualidade da habilidade) e o custo computacional da pesquisa em mundo aberto comparado à geração em mundo fechado. No entanto, os resultados sugerem que a aquisição em mundo aberto combinada com a verificação livre de vazamento é um mecanismo robusto para a evolução autônoma de agentes.