InfantAgent-Next: A Multimodal Generalist Agent for Automated Computer Interaction

1. Enunciado del Problema

Los agentes automatizados de IA actuales para la interacción con computadoras enfrentan un compromiso fundamental entre generalidad y precisión:

• Agentes Basados en Herramientas: (ej. OpenHands, AutoGPT) dependen de herramientas predefinidas (código, búsqueda) para aumentar la precisión en tareas específicas. Sin embargo, requieren la integración manual de herramientas para cada nuevo escenario, lo que los hace frágiles y limitados en alcance. A menudo fallan al encontrar software no cubierto por su conjunto de herramientas.
• Agentes de Visión Pura: (ej. UI-TARS, Aguvis) utilizan Modelos Visión-Lenguaje (vLLMs) para controlar las GUI directamente sin herramientas. Aunque son altamente generales, luchan con el razonamiento de alta resolución, a menudo mal ubicando elementos de la interfaz de usuario (haciendo clic en coordenadas incorrectas) o fallando en tareas precisas como la edición de archivos y la manipulación de código donde llamadas simples a herramientas serían suficientes.
• La Brecha: Las soluciones existentes carecen ya sea de la flexibilidad para manejar tareas diversas y no estructuradas o de la precisión para ejecutar operaciones complejas y dependientes de herramientas de manera confiable. Existe la necesidad de un paradigma híbrido que unifique la precisión de la ejecución basada en herramientas con la adaptabilidad del control de visión pura.

2. Metodología: Arquitectura de InfantAgent-Next

InfantAgent-Next introduce un agente generalista multimodal altamente modular que integra enfoques basados en herramientas y de visión pura dentro de un contexto de diálogo unificado. En lugar de depender de un único modelo monolítico, enruta subtareas a modelos especializados según sus fortalezas.

Arquitectura Central

El sistema opera en un bucle iterativo que consta de tres roles distintos, cada uno potencialmente impulsado por un modelo diferente:

1. Planificador: Analiza la solicitud del usuario y el estado actual para generar un plan de tareas de alto nivel.
2. Selector de Herramientas: Selecciona dinámicamente el conjunto de herramientas más apropiado (ej. Edición de Archivos, Navegación Web, Uso de Computadora) de una biblioteca curada.
3. Ejecutor: Invoca las herramientas seleccionadas y recopila retroalimentación del entorno.

Componentes Técnicos Clave:

• Flujo de Trabajo Modular y Memoria: El agente mantiene un historial de diálogo unificado pero analiza las respuestas utilizando etiquetas especiales (<thought>, <task>, <toolkit>, <execute_bash>, etc.). Esto permite al sistema reconstruir el contexto específicamente para la subtarea actual (planificación vs. ejecución), evitando la hinchazón de la ventana de contexto y la generación de contenido irrelevante.
• Conjunto de Herramientas Dinámico: El sistema categoriza las herramientas en siete conjuntos (Lectura de Archivos, Búsqueda, Edición, Navegación Web, Uso de Computadora, Ejecución de Código, Herramientas Avanzadas). Selecciona dinámicamente un subconjunto de herramientas relevantes para cada paso para reducir los costos de inferencia y la carga cognitiva en el LLM.
• Integración Multimodal: El agente admite texto, imágenes, audio y video. Puede enrutar el análisis de audio a modelos de audio especializados, la anclaje visual a modelos de visión y el razonamiento lógico a LLMs avanzados.

Mejoras Novedosas

El artículo introduce algoritmos específicos para abordar puntos de falla conocidos en agentes SOTA:

• Recorte de Región Iterativo para Clics del Ratón (Algoritmo 1): Para resolver el problema de "anclaje visual" donde los modelos identifican incorrectamente las coordenadas:
  1. El agente toma una captura de pantalla de pantalla completa.
  2. Un modelo de anclaje visual predice una coordenada candidata.
  3. El sistema recorta una región más pequeña alrededor de esa coordenada.
  4. Este proceso se repite $n$ veces (estrechando iterativamente el área de búsqueda).
  5. La coordenada refinada final se utiliza para el clic. Esto reduce significativamente la distracción por píxeles irrelevantes.
• Edición de Archivos Robusta (Algoritmo 2): Para manejar errores en ediciones de archivos basadas en números de línea:
  1. El agente genera un plan con líneas de inicio/fin y contenido esperado.
  2. Verifica si el contenido real del archivo coincide con los límites esperados.
  3. Si ocurre una discrepancia (ej. error de uno), cambia a una estrategia de respaldo: difumina las cadenas de contenido esperadas y busca en el archivo el mejor tramo coincidente, actualizando la solicitud de edición dinámicamente antes de aplicar el cambio.

3. Contribuciones Clave

1. Marco InfantAgent-Next: Un agente generalista multimodal de código abierto que une los paradigmas basados en herramientas y de visión pura, admitiendo entradas de texto, imagen, audio y video.
2. Modularización Detallada: Una arquitectura novedosa que desacopla la planificación, la selección de herramientas y la ejecución, permitiendo que diferentes modelos (razonamiento, anclaje visual, análisis de audio) colaboren sin problemas dentro de un contexto unificado.
3. Mecanismos de Ejecución Mejorados: La introducción del Recorte de Región Iterativo para la interacción de GUI de alta precisión y un Respaldo de Coincidencia Difusa para la edición de archivos confiable, abordando los dos modos de falla principales de los agentes actuales.
4. Kit de Herramientas de Código Abierto: Lanzamiento de una suite de herramientas de agente optimizadas y un entorno de ejecución aislado (basado en VM) para apoyar la investigación futura.

4. Resultados Experimentales

El agente fue evaluado en tres grandes puntos de referencia que cubren visión, lógica y tareas generales:

• OSWorld (Razonamiento Visual):
  • Métrica: Precisión en 369 tareas de escritorio de código abierto.
  • Resultado: InfantAgent-Next logró una precisión del 35.3% (50 pasos), superando a Claude-Computer-Use (26.0%) en un 7.27% y superando a otros marcos de código abierto como Agent-S2. Demostró una capacidad superior para anclar instrucciones en lenguaje natural en elementos de la GUI.
• SWE-Bench (Razonamiento Lógico y Código):
  • Métrica: Resolución de problemas reales de GitHub.
  • Resultado: En el subconjunto SWE-Bench-Verified (50 casos), logró una precisión del 66%, superando a varios agentes de código cerrado (ej. Amazon Q Developer Agent al 54%). En SWE-Bench-Lite, logró un 31.67%, ubicándose entre los mejores agentes de código abierto.
• GAIA (Rendimiento en Tareas Generales):
  • Métrica: Preguntas de código abierto en tres niveles de dificultad.
  • Resultado: InfantAgent-Next se clasificó segundo entre agentes de código abierto (56.97% promedio), quedando solo detrás de OWL, y logró un rendimiento de vanguardia en preguntas de dificultad nivel 2 (intermedia).
• Estudios de Ablación:
  • Se demostró que el mecanismo de Recorte de Región Iterativo converge en precisión en la 3ª iteración, con 2 iteraciones ofreciendo el mejor equilibrio entre rendimiento y costo.
  • La lógica de Edición de Archivos logró una tasa de éxito total del 90.4% en tareas de SWE-Bench, reparando con éxito el 84.3% de los intentos fallidos (ej. corrigiendo errores de línea de uno).

5. Significado

InfantAgent-Next representa un paso significativo hacia adelante en Agentes Informáticos Generalistas. Al alejarse de los enfoques de "un solo modelo lo hace todo" o "cadena de herramientas rígida", demuestra que una arquitectura modular y multi-modelo puede lograr tanto alta precisión en la ejecución (mediante anclaje especializado y lógica de edición) como amplia adaptabilidad (mediante selección dinámica de herramientas y comprensión multimodal).

El trabajo demuestra que:

1. La hibridación es clave: Combinar el poder de razonamiento de los LLM con la precisión de módulos de visión y herramientas especializados supera a los modelos monolíticos.
2. El refinamiento iterativo funciona: Mejoras algorítmicas simples (como el recorte iterativo) pueden resolver drásticamente el problema de la "coordenada alucinada" que plaga a los agentes visuales.
3. Escalabilidad: El marco es lo suficientemente robusto para manejar flujos de trabajo complejos y multi-paso que involucran código, navegación web y manipulación de archivos, convirtiéndolo en un candidato viable para tareas de automatización del mundo real.

La publicación de código abierto del código, los modelos y los scripts de evaluación proporciona una base sólida para que la comunidad desarrolle aún más sistemas de agentes multimodales.