XSkill: Continual Learning from Experience and Skills in Multimodal Agents

O artigo apresenta o XSkill, um framework de aprendizado contínuo para agentes multimodais que melhora o raciocínio e a orquestração de ferramentas em cenários abertos ao extrair e recuperar, sem atualizar parâmetros, conhecimento reutilizável em duas formas complementares — experiências e habilidades — fundamentadas em observações visuais.

O essencial

Imagine que você tem um assistente de IA muito inteligente, capaz de ver imagens, escrever códigos e pesquisar na internet. Ele é como um gênio solitário: sabe muito, mas quando enfrenta um problema novo, ele tende a "reinventar a roda" toda vez, cometendo os mesmos erros ou perdendo tempo em caminhos que não funcionam.

O artigo XSKILL propõe uma solução para isso: transformar esse gênio solitário em um aprendiz experiente que não precisa ser reprogramado para aprender com o passado.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: O "Gênio" que Esquece

Atualmente, esses agentes multimodais (que veem e pensam) são como um estudante que faz uma prova difícil, erra, mas na próxima prova esquece o que errou e tenta de novo da mesma maneira. Eles são eficientes em tarefas simples, mas travam em problemas complexos porque:

• Não usam as ferramentas certas: Às vezes tentam resolver um problema de matemática usando apenas a internet, quando deveriam usar uma calculadora.
• São rígidos: Se um caminho falha, eles não sabem se adaptar rapidamente.

2. A Solução: Duas Caixas de Ferramentas Mágicas

O XSKILL ensina o agente a guardar o conhecimento em duas caixas diferentes, baseadas em duas formas de como nós, humanos, aprendemos:

A Caixa 1: "O Manual de Instruções" (Skills / Habilidades)

• O que é: São passos estruturados e reutilizáveis para tarefas grandes.
• Analogia: Imagine um receituário de chef de cozinha. Se você quer fazer um bolo, não precisa descobrir do zero como misturar ovos e farinha. Você segue o "Skill" (Habilidade) de "Fazer Massa de Bolo".
• No XSKILL: O agente guarda fluxos de trabalho. Exemplo: "Se a imagem está de cabeça para baixo, gire-a antes de tentar ler o texto". Isso evita erros básicos e economiza tempo.

A Caixa 2: "O Diário de Campo" (Experiences / Experiências)

• O que é: Dicas rápidas e contextuais sobre o que deu certo ou errado em situações específicas.
• Analogia: Imagine um diário de um explorador. Ele não é um manual completo, mas anotações como: "Cuidado! Se a imagem estiver muito escura, aumente o brilho antes de procurar o objeto, senão você vai perder o detalhe".
• No XSKILL: São conselhos táticos. Exemplo: "Quando o objeto é muito pequeno, use o código para dar zoom antes de pesquisar".

3. Como Funciona o Ciclo de Aprendizado (Sem Reescrever o Cérebro)

A grande mágica do XSKILL é que ele não precisa reprogramar o cérebro do agente (o modelo de IA). Em vez disso, ele cria um sistema de "memória externa":

1. Fase de Acúmulo (Aprendendo com a prática):

   • O agente tenta resolver vários problemas.
   • Ele olha para as imagens e para o que fez.
   • Se ele acertou, ele cria um "Manual" (Skill) para não esquecer o método.
   • Se ele errou, ele escreve uma "Nota" (Experiência) no diário para não repetir o erro.
   • Diferencial: Ele olha para a imagem para entender o erro, não apenas para o texto. Se ele errou porque não viu que a foto estava invertida, a nota diz isso explicitamente.

2. Fase de Execução (Usando o conhecimento):

   • Quando chega um novo problema, o agente não começa do zero.
   • Ele olha para a imagem do novo problema e pergunta: "Já vi algo assim?"
   • Ele busca no "Manual" e no "Diário" dicas relevantes.
   • Ele adapta essas dicas à situação atual (ex: "O manual diz para girar a imagem, e esta imagem está de cabeça para baixo, então vou girar").

4. Por que isso é revolucionário?

• Aprendizado Contínuo: O agente fica mais inteligente a cada tarefa, sem precisar de um treinamento caro e demorado.
• Adaptabilidade: Ele sabe quando seguir o manual e quando improvisar com base nas dicas do diário.
• Generalização: O que ele aprende em um tipo de tarefa (ex: analisar mapas) pode ajudá-lo em outra (ex: analisar gráficos financeiros), porque o conhecimento é organizado de forma lógica.

Resumo em uma frase

O XSKILL é como dar ao seu assistente de IA um caderno de anotações inteligente onde ele guarda tanto os passos a passo (habilidades) quanto as lições de vida (experiências) de cada tarefa que faz, permitindo que ele resolva problemas complexos com a sabedoria de quem já viveu mil situações, sem precisar ser reprogramado.

Resumo técnico

1. Problema e Motivação

Os agentes de Inteligência Artificial Multimodal (MLLMs) evoluíram para resolver tarefas complexas utilizando diversas ferramentas (código, busca na web, manipulação de imagens). No entanto, em cenários de propósito aberto, eles enfrentam dois gargalos fundamentais:

• Uso Ineficiente de Ferramentas: Os agentes frequentemente gastam passos excessivos em problemas simples ou falham em explorar profundamente tarefas complexas.
• Orquestração Inflexível: A maioria dos sistemas atuais é limitada à execução de um único caminho e possui capacidade restrita para compor ferramentas de forma que generalize entre tarefas.

O desafio central é permitir que esses agentes melhorem continuamente sem atualizações de parâmetros (fine-tuning), aprendendo com trajetórias passadas. A literatura atual carece de mecanismos eficazes para isso, especialmente porque as abordagens existentes dependem predominantemente de logs de texto, ignorando que os sinais decisivos críticos em tarefas multimodais estão frequentemente ancorados em observações visuais.

2. Metodologia: O Framework XSKILL

O XSKILL propõe um framework de duplo fluxo (dual-stream) para aprendizado contínuo, unificando dois tipos complementares de conhecimento reutilizável:

A. Definição dos Tipos de Conhecimento

1. Habilidades (Skills): Fornecem orientação estruturada em nível de tarefa. São documentos que definem fluxos de trabalho (workflows) e modelos de ferramentas reutilizáveis para classes específicas de problemas.
2. Experiências (Experiences): Fornecem orientação concisa em nível de ação. Capturam insights táticos, condições de acionamento e padrões de falha específicos do contexto de execução (ex: "quando a imagem está invertida, rotacione antes de tentar identificar").

B. Arquitetura do Framework

O sistema opera em duas fases principais, utilizando duas instâncias de MLLM: uma para execução (MLLMexec) e outra mais capaz para gerenciamento de conhecimento (MLLMkb).

Fase I: Acumulação (Treinamento/Aprendizado)

• Resumo de Rollout (Rollout Summary): O agente executa múltiplos rollouts (tentativas) de uma tarefa. O MLLMkb realiza um resumo ancorado visualmente, analisando não apenas o texto da trajetória, mas também as imagens intermediárias, chamadas de ferramentas e saídas. Isso extrai fragmentos de habilidades e insights de falha.
• Crítica entre Rollouts (Cross-Rollout Critique): Compara trajetórias bem-sucedidas e falhas para identificar fatores causais. Gera atualizações estruturadas para o banco de experiências (adicionar novas regras ou modificar existentes).
• Consolidação Hierárquica: Um mecanismo de limpeza que funde entradas redundantes, remove detalhes excessivamente específicos e generaliza o conhecimento para garantir escalabilidade e qualidade.

Fase II: Inferência (Execução)

• Decomposição e Recuperação: A tarefa de teste é decomposta em sub-tarefas abstratas. O sistema recupera as experiências e habilidades mais relevantes com base na similaridade semântica e visual.
• Adaptação Contextual:
  • Reescrita de Experiência: As experiências recuperadas são reescritas para se adequarem ao contexto visual e à tarefa atual (ex: transformar uma regra geral em uma instrução específica para a imagem dada).
  • Adaptação de Habilidade: O documento de habilidade global é ajustado, removendo seções irrelevantes e integrando as experiências reescritas nos passos do fluxo de trabalho.
• Injeção: O conhecimento adaptado é injetado no prompt do sistema do agente como uma referência não prescritiva, guiando a execução sem forçar um caminho rígido.

3. Contribuições Principais

1. Primeiro Framework Unificado: O XSKILL é a primeira estrutura a unificar habilidades em nível de tarefa e experiências em nível de ação em um design de duplo fluxo especificamente para agentes multimodais.
2. Aprendizado Livre de Treinamento (Training-Free): Permite a acumulação contínua de conhecimento a partir de interações visual-ferramenta sem a necessidade de re-treinamento paramétrico, superando a rigidez de modelos congelados.
3. Ancoragem Visual: Diferente de métodos anteriores baseados apenas em texto, o XSKILL fundamenta a extração e a recuperação de conhecimento nas observações visuais, preenchendo a lacuna entre o estado visual e a decisão lógica.
4. Generalização Zero-Shot: Demonstra capacidade superior de transferência para tarefas não vistas, provando que o framework captura princípios de raciocínio generalizáveis.

4. Resultados Experimentais

O XSKILL foi avaliado em 5 benchmarks (VisualToolBench, TIR-Bench, MMSearch-Plus, MMBrowseComp, AgentVista) cobrindo uso de ferramentas, busca multimodal e raciocínio abrangente, utilizando 4 modelos base diferentes (incluindo Gemini-2.5-Pro, Gemini-3-Flash, GPT-5-mini e o4-mini).

• Desempenho Superior: O método superou consistentemente tanto a linha de base de "apenas ferramentas" quanto as melhores linhas de base baseadas em aprendizado (como Agent-KB e Dynamic CheatSheet).
• Ganhos de Métricas: Houve um aumento de 2,58 a 6,71 pontos na métrica Average@4 em comparação à linha de base apenas com ferramentas. Em configurações desafiadoras, o ganho atingiu até 11,13 pontos.
• Transferência entre Modelos: O conhecimento acumulado por um modelo (ex: Gemini-3-Flash) foi transferido com sucesso para outros modelos (ex: GPT-5-mini), mantendo melhorias significativas, o que valida a portabilidade da estrutura de conhecimento.
• Análise de Ablação:
  • A remoção de Skills ou Experiences causou quedas de desempenho de ~3 a ~4 pontos, confirmando que ambos os fluxos são essenciais e complementares.
  • As Skills foram cruciais para reduzir erros de sintaxe e execução de ferramentas (robustez).
  • As Experiences foram fundamentais para a orquestração flexível e seleção estratégica de ferramentas (adaptação).

5. Significado e Impacto

O trabalho XSKILL representa um avanço significativo na direção de sistemas autônomos evolutivos. Ao externalizar o conhecimento em representações estruturadas e legíveis (Markdown para habilidades, JSON para experiências), o framework não apenas melhora a performance, mas também aumenta a transparência e a interpretabilidade das decisões do agente.

Isso permite que operadores humanos auditem, editem ou removam conhecimentos acumulados, mitigando riscos de viés ou automação maliciosa. O framework oferece um caminho prático e escalável para agentes multimodais que podem aprender continuamente em ambientes do mundo real, acumulando expertise procedural sem os custos proibitivos de fine-tuning contínuo.