Resumo Técnico: HYPERSKILL

Declaração do Problema

À medida que os agentes de Grandes Modelos de Linguagem (LLMs) enfrentam tarefas cada vez mais complexas e de longo horizonte (ex: navegação na web, raciocínio científico), eles dependem cada vez mais da memória experiencial para destilar trajetórias passadas em conhecimento reutilizável. No entanto, os sistemas de memória existentes sofrem de três limitações fundamentais que impedem a autoevolução:

1. O Que Armazenar: Os sistemas atuais ou armazenam trajetórias brutas (ruidosas), fluxos de trabalho abstratos (perdendo detalhes procedimentais) ou extraem habilidades isoladas (descartando relações composicionais). Eles falham em preservar as associações n-árias entre subtarefas, habilidades reutilizáveis e resultados dentro de uma única trajetória.
2. Como Estruturar e Recuperar: A maioria das abordagens utiliza repositórios vetoriais planos ou grafos simples de pares. Essas estruturas dependem exclusivamente de similaridade de embedding semântico, falhando em capturar sinais relacionais, como a coocorrência de uma habilidade específica com um conjunto de subtarefas através de múltiplas trajetórias bem-sucedidas.
3. Como a Memória Evolui: Os sistemas existentes tipicamente acumulam conhecimento incondicionalmente ou aplicam operações leves e isoladas (ex: deduplicação simples). Eles carecem de mecanismos para considerar conjuntamente a qualidade do nó e a topologia do grafo para podar conhecimento de baixa utilidade ou fundir habilidades redundantes.

Metodologia: HYPERSKILL

Os autores propõem o HYPERSKILL, um framework de memória que modela o conhecimento experiencial como um hipergrafo $G = (V, E)$ para abordar conjuntamente o armazenamento, a recuperação e a evolução.

1. Arquitetura de Memória

A memória é estruturada como um hipergrafo com dois tipos de nós e hiperarestas conectando-os:

• Nós ($V = V_u \cup V_s$):
  • Nós de Subtarefa ($V_u$): Representam etapas discretas em uma decomposição de tarefa, codificando pré-condições e descrições de etapas.
  • Nós de Habilidade ($V_s$): Representam estratégias de execução reutilizáveis (padrões positivos ou de erro) extraídas via prompting condicionado ao resultado. Cada nó carrega um escore de utilidade ($\gamma$) atualizado dinamicamente com base em taxas de sucesso empíricas e eficiência de etapa.
• Hiperarestas ($E$): Cada hiperaresta corresponde a uma única trajetória $\tau$. Ela conecta o conjunto específico de nós de subtarefa e nós de habilidade envolvidos naquela trajetória, juntamente com uma lição destilada e a descrição da tarefa original. Diferente das arestas de pares, as hiperarestas preservam o contexto composicional completo de um episódio.

2. Recuperação de Via Dupla

Para recuperar o contexto relevante, o HYPERSKILL emprega uma estratégia de via dupla que consulta tanto o nível de subtarefa quanto o de trajetória:

• Via de Subtarefa: A tarefa atual é decomposta em subtarefas. Estas são confrontadas com nós de subtarefa armazenados para recuperar hiperarestas candidatas que compartilham a mesma estrutura procedural, independentemente de diferenças de redação superficial.
• Via de Trajetória: A descrição completa da tarefa é confrontada diretamente com embeddings de hiperarestas (concatenação da descrição da tarefa e lição destilada) para recuperar trajetórias com semântica de alto nível similar.
• Fusão: Os conjuntos candidatos de ambas as vias são fundidos.

3. Classificação de Habilidade via Coocorrência

Em vez de classificar as habilidades recuperadas puramente pela similaridade semântica com a consulta, o HYPERSKILL as classifica pela frequência de coocorrência entre as hiperarestas recuperadas. Uma habilidade que aparece em muitas trajetórias recuperadas é considerada mais provável de ser relevante, aproveitando o sinal estrutural que a similaridade semântica sozinha não pode fornecer.

4. Manutenção Informada pela Estrutura

A memória passa por um refinamento periódico para evitar estagnação e ruído:

• Poda Baseada em Qualidade: Nós que são frequentemente recuperados, mas que consistentemente falham em melhorar os resultados (baixo escore de utilidade $\gamma$), são removidos.
• Fusão Informada pela Estrutura: Nós de habilidade redundantes são identificados e fundidos. Este processo utiliza propagação ponderada pela qualidade sobre o hipergrafo para computar embeddings estruturais. Nós com alta similaridade estrutural e alta utilidade são consolidados em habilidades de ordem superior, preservando a integridade do grafo.

Principais Contribuições

1. Representação Baseada em Hipergrafo: O artigo introduz uma estrutura de memória inovadora que preserva nativamente associações n-árias entre subtarefas, habilidades e resultados, abordando a natureza perdedora de listas planas e grafos de pares.
2. Mecanismo de Recuperação de Via Dupla: Um sistema de recuperação que combina o emparelhamento de subestrutura procedural (via de subtarefa) com o emparelhamento semântico de tarefa (via de trajetória), aumentando a recall de trajetórias relevantes.
3. Classificação Baseada em Coocorrência: Um método para selecionar orientação de execução que prioriza habilidades com base em sua frequência estrutural em trajetórias recuperadas, em vez de apenas similaridade semântica.
4. Estratégia de Evolução Conjunta: Um protocolo de manutenção que utiliza a topologia do grafo e a utilidade do nó para podar e fundir o conhecimento, garantindo que a memória permaneça compacta e de alta qualidade.

Resultados Experimentais

O HYPERSKILL foi avaliado em três benchmarks (xBench, GAIA, WebWalkerQA) usando dois modelos de base (GPT-4o e Qwen3-30B-A3B).

• Ganhos de Desempenho: O HYPERSKILL superou dez baselines representativos (incluindo métodos de nível de trajetória, nível de fluxo de trabalho e baseados em grafos) em todos os benchmarks.
  • No GAIA com Qwen3-30B-A3B, alcançou uma melhoria de +4,85% na taxa de sucesso sobre o baseline "No Memory".
  • No WebWalkerQA com Qwen3-30B-A3B, alcançou uma melhoria de +11,18%.
  • Com GPT-4o, alcançou consistentemente as taxas de sucesso mais altas ou próximas do topo, superando o segundo melhor método por margens significativas (ex: +2,30% no GAIA).
• Eficiência: Ao contrário de alguns baselines que aumentaram o uso de tokens e o número de etapas sem ganhos proporcionais, o HYPERSKILL alcançou altas taxas de sucesso com custos de tokens moderados. Por exemplo, no xBench com GPT-4o, ele igualou o menor número de etapas (5,27) entre os principais performers enquanto mantinha alta precisão.
• Estudos de Ablação: Remover a estrutura de hipergrafo (revertendo para recuperação plana) ou remover qualquer uma das vias de recuperação (subtarefa ou trajetória) resultou em quedas significativas de desempenho, validando a necessidade do design de via dupla e de hipergrafo.

Significância e Alegações

O artigo afirma que o HYPERSKILL representa um passo significativo em direção a agentes autoevolutivos. Ao tratar uma trajetória não como uma unidade única de conhecimento, mas como uma associação n-ária, o framework permite que os agentes cresçam em competência a cada interação, em vez de começarem do zero.

Os autores enfatizam que as melhorias decorrem do próprio framework de memória e não de comportamentos específicos do modelo de base, uma vez que os ganhos foram consistentes entre diferentes famílias de modelos. Além disso, o mecanismo de manutenção informada pela estrutura é destacado como crucial; sem ele, a acumulação incondicional de memória introduz ruído que prejudica ativamente o desempenho do agente. O trabalho demonstra que preservar a estrutura composicional e aproveitar sinais relacionais (coocorrência) são essenciais para a transferência eficaz de conhecimento procedural em tarefas agênticas complexas.