InfantAgent-Next: A Multimodal Generalist Agent for Automated Computer Interaction

1. Declaração do Problema

Os agentes de IA automatizados atuais para interação com computadores enfrentam um compromisso fundamental entre generalidade e precisão:

• Agentes Baseados em Ferramentas: (ex: OpenHands, AutoGPT) dependem de ferramentas predefinidas (código, busca) para aumentar a precisão em tarefas específicas. No entanto, exigem integração manual de ferramentas para cada novo cenário, tornando-os frágeis e limitados em escopo. Frequentemente falham ao encontrar softwares não cobertos pelo seu conjunto de ferramentas.
• Agentes de Visão Pura: (ex: UI-TARS, Aguvis) utilizam Modelos Visão-Linguagem (vLLMs) para controlar interfaces gráficas (GUIs) diretamente, sem ferramentas. Embora altamente gerais, lutam com raciocínio de alta resolução, frequentemente mallocalizando elementos da interface (clicando nas coordenadas erradas) ou falhando em tarefas precisas como edição de arquivos e manipulação de código, onde chamadas de ferramentas simples seriam suficientes.
• A Lacuna: As soluções existentes ou carecem da flexibilidade para lidar com tarefas diversas e não estruturadas, ou carecem da precisão para executar operações complexas e pesadas em ferramentas de forma confiável. Há uma necessidade de um paradigma híbrido que una a precisão da execução baseada em ferramentas com a adaptabilidade do controle de visão pura.

2. Metodologia: Arquitetura do InfantAgent-Next

O InfantAgent-Next introduz um agente generalista multimodal altamente modular que integra abordagens baseadas em ferramentas e de visão pura dentro de um contexto de diálogo unificado. Em vez de depender de um único modelo monolítico, ele roteia subtarefas para modelos especializados com base em seus pontos fortes.

Arquitetura Central

O sistema opera em um loop iterativo consistindo de três papéis distintos, cada um potencialmente alimentado por um modelo diferente:

1. Planejador: Analisa a solicitação do usuário e o estado atual para gerar um plano de tarefa de alto nível.
2. Seletor de Ferramentas: Seleciona dinamicamente o conjunto de ferramentas mais apropriado (ex: Edição de Arquivos, Navegação Web, Uso de Computador) de uma biblioteca curada.
3. Executor: Invoca as ferramentas selecionadas e coleta feedback do ambiente.

Componentes Técnicos Chave:

• Fluxo de Trabalho Modular e Memória: O agente mantém um histórico de diálogo unificado, mas analisa as respostas usando tags especiais (<thought>, <task>, <toolkit>, <execute_bash>, etc.). Isso permite que o sistema reconstrua o contexto especificamente para a subtarefa atual (planejamento vs. execução), prevenindo inchaço da janela de contexto e geração de conteúdo irrelevante.
• Conjunto de Ferramentas Dinâmico: O sistema categoriza ferramentas em sete conjuntos (Leitura de Arquivos, Busca, Edição, Navegação Web, Uso de Computador, Execução de Código, Ferramentas Avançadas). Seleciona dinamicamente um subconjunto de ferramentas relevantes para cada etapa, reduzindo custos de inferência e carga cognitiva no LLM.
• Integração Multimodal: O agente suporta texto, imagens, áudio e vídeo. Pode rotear análise de áudio para modelos de áudio especializados, ancoragem visual para modelos de visão e raciocínio lógico para LLMs avançados.

Melhorias Novas

O artigo introduz algoritmos específicos para abordar pontos de falha conhecidos em agentes SOTA (State-of-the-Art):

• Recorte Iterativo de Região para Cliques de Mouse (Algoritmo 1): Para resolver o problema de "ancoragem visual" onde modelos identificam incorretamente coordenadas:
  1. O agente captura uma imagem de tela cheia.
  2. Um modelo de ancoragem visual prevê uma coordenada candidata.
  3. O sistema recorta uma região menor ao redor dessa coordenada.
  4. Este processo se repete $n$ vezes (estreitando iterativamente a área de busca).
  5. A coordenada refinada final é usada para o clique. Isso reduz significativamente a distração por pixels irrelevantes.
• Edição de Arquivos Robusta (Algoritmo 2): Para lidar com erros em edições de arquivos baseadas em números de linha:
  1. O agente gera um plano com linhas de início/fim e conteúdo esperado.
  2. Verifica se o conteúdo real do arquivo corresponde aos limites esperados.
  3. Se ocorrer uma incompatibilidade (ex: erro de linha fora de um), alterna para uma estratégia de fallback: difumina as strings de conteúdo esperadas e pesquisa o arquivo pela melhor correspondência de intervalo, atualizando a solicitação de edição dinamicamente antes de aplicar a alteração.

3. Contribuições Principais

1. Framework InfantAgent-Next: Um agente generalista multimodal de código aberto que une paradigmas baseados em ferramentas e de visão pura, suportando entradas de texto, imagem, áudio e vídeo.
2. Modularização Detalhada: Uma arquitetura inovadora que desacopla planejamento, seleção de ferramentas e execução, permitindo que diferentes modelos (raciocínio, ancoragem visual, análise de áudio) colaborem perfeitamente dentro de um contexto unificado.
3. Mecanismos de Execução Aprimorados: A introdução de Recorte Iterativo de Região para interação de GUI de alta precisão e um Fallback de Correspondência Difusa para edição confiável de arquivos, abordando os dois principais modos de falha dos agentes atuais.
4. Kit de Ferramentas de Código Aberto: Lançamento de uma suíte de ferramentas de agente otimizadas e um ambiente de execução isolado (baseado em VM) para apoiar pesquisas futuras.

4. Resultados Experimentais

O agente foi avaliado em três principais benchmarks cobrindo visão, lógica e tarefas gerais:

• OSWorld (Raciocínio Visual):
  • Métrica: Precisão em 369 tarefas de desktop de resposta aberta.
  • Resultado: O InfantAgent-Next alcançou 35,3% de precisão (50 passos), superando o Claude-Computer-Use (26,0%) em 7,27% e ultrapassando outros frameworks de código aberto como o Agent-S2. Demonstrou capacidade superior de ancorar instruções em linguagem natural em elementos da GUI.
• SWE-Bench (Raciocínio Lógico e Código):
  • Métrica: Resolução de problemas reais do GitHub.
  • Resultado: No subconjunto SWE-Bench-Verified (50 casos), alcançou 66% de precisão, superando vários agentes de código fechado (ex: Amazon Q Developer Agent em 54%). No SWE-Bench-Lite, alcançou 31,67%, classificando-se entre os principais agentes de código aberto.
• GAIA (Desempenho em Tarefas Gerais):
  • Métrica: Perguntas de resposta aberta em três níveis de dificuldade.
  • Resultado: O InfantAgent-Next ficou em segundo lugar entre agentes de código aberto (média de 56,97%), ficando atrás apenas do OWL, e alcançou desempenho state-of-the-art em perguntas de dificuldade nível 2 (intermediário).
• Estudos de Ablação:
  • O mecanismo de Recorte Iterativo de Região mostrou convergência na precisão até a 3ª iteração, com 2 iterações oferecendo o melhor compromisso entre desempenho e custo.
  • A lógica de Edição de Arquivos alcançou uma taxa de sucesso total de 90,4% nas tarefas do SWE-Bench, reparando com sucesso 84,3% das tentativas falhas (ex: corrigindo erros de linha fora de um).

5. Significado

O InfantAgent-Next representa um passo significativo para frente em Agentes Generalistas de Computador. Ao afastar-se das abordagens de "um único modelo faz tudo" ou "cadeia de ferramentas rígida", demonstra que uma arquitetura modular e multi-modelo pode alcançar tanto alta precisão na execução (via lógica de ancoragem e edição especializada) quanto ampla adaptabilidade (via seleção dinâmica de ferramentas e compreensão multimodal).

O trabalho prova que:

1. Hibridização é fundamental: Combinar o poder de raciocínio dos LLMs com a precisão de módulos especializados de visão e ferramentas supera modelos monolíticos.
2. Refinamento iterativo funciona: Melhorias algorítmicas simples (como recorte iterativo) podem resolver drasticamente o problema da "coordenada alucinada" que aflige agentes visuais.
3. Escalabilidade: O framework é robusto o suficiente para lidar com fluxos de trabalho complexos e multi-etapa envolvendo código, navegação web e manipulação de arquivos, tornando-o um candidato viável para tarefas de automação do mundo real.

A disponibilização de código aberto do código, modelos e scripts de avaliação fornece uma base sólida para a comunidade desenvolver ainda mais sistemas de agentes multimodais.