🤖 AI

InfantAgent-Next: A Multimodal Generalist Agent for Automated Computer Interaction

Il documento presenta InfantAgent-Next, un agente generalista multimodale altamente modulare che integra capacità basate su strumenti e capacità puramente visive per abilitare un'interazione collaborativa e passo-passo con il computer, ottenendo prestazioni all'avanguardia su diversi benchmark tra cui OSWorld, GAIA e SWE-Bench.

Autori originali: Bin Lei, Weitai Kang, Zijian Zhang, Winson Chen, Xi Xie, Shan Zuo, Mimi Xie, Ali Payani, Mingyi Hong, Yan Yan, Caiwen Ding

Pubblicato 2026-05-04

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Bin Lei, Weitai Kang, Zijian Zhang, Winson Chen, Xi Xie, Shan Zuo, Mimi Xie, Ali Payani, Mingyi Hong, Yan Yan, Caiwen Ding

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente personale molto intelligente, ma leggermente goffo, di nome InfantAgent-Next.

Nel mondo dell'automazione informatica, la maggior parte degli assistenti odierni sono come specialisti che sanno fare una sola cosa molto bene, o generalisti che cercano di fare tutto ma spesso si confondono.

Alcuni assistenti sono come Bibliotecari: sono ottimi nell'utilizzare un elenco specifico di strumenti (come "cerca sul web" o "apri un file"), ma se chiedi loro di cliccare un pulsante su uno schermo che non hanno mai visto prima, si bloccano perché non dispongono di uno strumento per quel pulsante specifico.
Altri assistenti sono come Artisti: possono guardare uno schermo e "vedere" cosa c'è, ma faticano a fare calcoli complessi o a scrivere codice perché cercano di farlo tutto solo con gli occhi, senza una calcolatrice o un editor di testo.

InfantAgent-Next è diverso. È come assumere un Team di Coltelli Svizzeri invece di una singola persona.

Come Funziona: Il Team "Cervello e Mani"

Invece di un unico cervello gigante che cerca di fare tutto, InfantAgent-Next scompone ogni lavoro in piccoli passaggi e invia ciascun passaggio all'esperto più adatto.

Il Manager (Il Pianificatore): Quando chiedi "Salva questa pagina web nei miei segnalibri", un modello "Manager" di alto livello legge la tua richiesta. Non cerca di cliccare il mouse da solo. Invece, dice: "Ok, dobbiamo aprire il browser, trovare il pulsante dei segnalibri e cliccarlo".
Gli Specialisti: Il Manager chiama quindi l'esperto giusto per il lavoro:
- L'Occhio (Grounding Visivo): Se il compito è "clicca il pulsante rosso", un modello di visione specializzato guarda lo schermo, trova le coordinate esatte dei pixel di quel pulsante rosso e dice al sistema dove cliccare. È come un osservatore dagli occhi acuti che guida un arciere bendato.
- La Calcolatrice (Esecuzione del Codice): Se il compito è "analizza questo file Excel", il Manager consegna il file a un esperto di programmazione che scrive uno script per fare i calcoli istantaneamente, invece di cercare di contare le righe guardando lo schermo.
- L'Orecchio (Analisi Audio): Se carichi una registrazione e chiedi "A che numero di pagina viene fatto riferimento?", un modello audio specializzato ascolta il file ed estrae la risposta.
La Memoria: Il sistema mantiene un quaderno condiviso. Ogni volta che uno specialista completa un passaggio, lo scrive. Il prossimo specialista prende il quaderno, legge cosa è successo e continua la storia. Questo assicura che il team non perda di vista l'obiettivo.

Perché Questo È Importante (I Trucchi "Magici")

Il documento evidenzia due problemi principali che questo sistema risolve:

Il Problema del "Clic": Molti agenti AI sono bravi a cliccare nel punto giusto sullo schermo. Potrebbero cliccare 5 pixel a sinistra e mancare il pulsante. InfantAgent-Next utilizza una tecnica "Zoom-In". Se deve cliccare un pulsante, non indovina semplicemente. Scatta una foto dello schermo, trova l'area generale, ritaglia quell'area per ingrandirla, trova di nuovo il pulsante, lo ritaglia di nuovo e poi clicca. È come usare una lente d'ingrandimento per trovare un ago in un pagliaio, assicurando che il clic sia preciso.
Il Problema della "Modifica": Quando si modifica un file di testo, l'AI spesso sbaglia i numeri di riga (ad esempio, "Cambia la riga 5" quando dovrebbe essere la riga 6). InfantAgent-Next ha un sistema di "Doppio Controllo". Propone una modifica, poi guarda il testo effettivo per verificare: "La riga 5 dice davvero quello che penso che dica?". Se non è così, aggiusta il suo piano prima di apportare la modifica, prevenendo errori disordinati.

Cosa Può Fare (La Prova)

I ricercatori hanno testato questo "Team di Specialisti" contro altri agenti AI di alto livello su tre tipi di sfide:

Compiti Desktop del Mondo Reale (OSWorld): Hanno chiesto all'agente di fare cose come "scaricare un file", "modificare un documento" e "navigare un sito web". InfantAgent-Next ha battuto il famoso agente "Claude Computer Use" del 7,27%. Era migliore nel portare effettivamente a termine il lavoro senza aiuto umano.
Programmazione e Correzione di Bug (SWE-Bench): Hanno chiesto all'agente di correggere codice rotto in progetti software reali. Ha funzionato tanto bene, o meglio, di molti agenti commerciali costosi e a codice chiuso.
Conoscenza Generale e Logica (GAIA): Hanno posto domande complesse che richiedevano la ricerca sul web, la lettura di file e il ragionamento. InfantAgent-Next si è classificato secondo tra tutti gli agenti open-source, dimostrando di poter gestire logica complessa e multi-step.

La Conclusione

InfantAgent-Next non è un unico grande modello AI che cerca di essere tutto. È un direttore d'orchestra modulare che sa esattamente quando chiamare "L'Occhio", "L'Orecchio", "Il Programmatore" o "Il Cliccatore di Mouse". Consentendo a ogni specialista di fare ciò in cui è migliore, l'intero sistema diventa molto più intelligente, più accurato e capace di gestire i compiti disordinati e del mondo reale che affrontiamo sui nostri computer ogni giorno.

I ricercatori hanno reso disponibile il codice per questo "Team di Specialisti" affinché chiunque possa usarlo e studiarlo, sperando di aiutare a costruire assistenti informatici ancora migliori in futuro.

1. Enunciato del Problema

Gli attuali agenti AI automatizzati per l'interazione con i computer affrontano un compromesso fondamentale tra generalità e accuratezza:

Agenti Basati su Strumenti: (es. OpenHands, AutoGPT) si affidano a strumenti predefiniti (codice, ricerca) per aumentare l'accuratezza su compiti specifici. Tuttavia, richiedono un'integrazione manuale degli strumenti per ogni nuovo scenario, rendendoli fragili e limitati nel campo di applicazione. Spesso falliscono quando incontrano software non coperto dal loro set di strumenti.
Agenti Puri di Visione: (es. UI-TARS, Aguvis) utilizzano Modelli Linguaggio-Visione (vLLM) per controllare le GUI direttamente senza strumenti. Sebbene altamente generali, faticano con il ragionamento ad alta risoluzione, spesso localizzando erroneamente gli elementi dell'interfaccia utente (cliccando sulle coordinate sbagliate) o fallendo in compiti precisi come la modifica di file e la manipolazione del codice, dove semplici chiamate a strumenti sarebbero sufficienti.
Il Divario: Le soluzioni esistenti mancano o della flessibilità per gestire compiti diversificati e non strutturati, o della precisione per eseguire operazioni complesse e ricche di strumenti in modo affidabile. C'è la necessità di un paradigma ibrido che unifichi la precisione dell'esecuzione basata su strumenti con l'adattabilità del controllo puro basato sulla visione.

2. Metodologia: Architettura InfantAgent-Next

InfantAgent-Next introduce un agente generalista multimodale altamente modulare che integra approcci basati su strumenti e puri basati sulla visione all'interno di un contesto dialogico unificato. Invece di affidarsi a un singolo modello monolitico, instrada i sottocompiti a modelli specializzati in base ai loro punti di forza.

Architettura Principale

Il sistema opera in un ciclo iterativo costituito da tre ruoli distinti, ciascuno potenzialmente alimentato da un modello diverso:

Pianificatore: Analizza la richiesta dell'utente e lo stato corrente per generare un piano di attività di alto livello.
Selettore di Strumenti: Seleziona dinamicamente il toolkit più appropriato (es. Modifica File, Navigazione Web, Uso del Computer) da una libreria curata.
Esecutore: Invoca gli strumenti selezionati e raccoglie feedback dall'ambiente.

Componenti Tecnici Chiave:

Flusso di Lavoro Modulare e Memoria: L'agente mantiene una cronologia dialogica unificata ma analizza le risposte utilizzando tag speciali (<thought>, <task>, <toolkit>, <execute_bash>, ecc.). Ciò permette al sistema di ricostruire il contesto specificamente per il sottocompito corrente (pianificazione vs. esecuzione), prevenendo il gonfiore della finestra di contesto e la generazione di contenuti irrilevanti.
Set di Strumenti Dinamico: Il sistema categorizza gli strumenti in sette toolkit (Lettura File, Ricerca, Modifica, Navigazione Web, Uso del Computer, Esecuzione Codice, Strumenti Avanzati). Seleziona dinamicamente un sottoinsieme di strumenti rilevanti per ogni passaggio per ridurre i costi di inferenza e il carico cognitivo sull'LLM.
Integrazione Multimodale: L'agente supporta testo, immagini, audio e video. Può instradare l'analisi audio a modelli audio specializzati, il grounding visivo a modelli di visione e il ragionamento logico a LLM avanzati.

Miglioramenti Innovativi

Il documento introduce algoritmi specifici per affrontare i punti critici noti negli agenti SOTA (State-of-the-Art):

Ritaglio Iterativo della Regione per i Clic del Mouse (Algoritmo 1): Per risolvere il problema del "grounding visivo" in cui i modelli identificano erroneamente le coordinate:
1. L'agente acquisisce uno screenshot a schermo intero.
2. Un modello di grounding visivo prevede una coordinata candidata.
3. Il sistema ritaglia una regione più piccola attorno a quella coordinata.
4. Questo processo si ripete $n$ volte (restringendo iterativamente l'area di ricerca).
5. La coordinata raffinata finale viene utilizzata per il clic. Ciò riduce significativamente la distrazione da pixel irrilevanti.
Modifica File Robusta (Algoritmo 2): Per gestire errori nelle modifiche ai file basate sui numeri di riga:
1. L'agente genera un piano con righe di inizio/fine e contenuto atteso.
2. Verifica se il contenuto effettivo del file corrisponde ai confini attesi.
3. Se si verifica una discrepanza (es. errore di off-by-one), passa a una strategia di fallback: sfuma le stringhe di contenuto atteso e cerca nel file l'intervallo di corrispondenza migliore, aggiornando dinamicamente la richiesta di modifica prima di applicare la modifica.

3. Contributi Chiave

Framework InfantAgent-Next: Un agente generalista multimodale open-source che colma il divario tra paradigmi basati su strumenti e puri basati sulla visione, supportando input di testo, immagine, audio e video.
Modularizzazione Dettagliata: Un'architettura innovativa che disaccoppia pianificazione, selezione degli strumenti ed esecuzione, permettendo a diversi modelli (ragionamento, grounding visivo, analisi audio) di collaborare senza soluzione di continuità all'interno di un contesto unificato.
Meccanismi di Esecuzione Potenziati: L'introduzione del Ritaglio Iterativo della Regione per l'interazione GUI ad alta precisione e di un Fallback a Corrispondenza Fuzzy per la modifica affidabile dei file, affrontando i due principali modi di fallimento degli agenti attuali.
Toolkit Open-Source: Rilascio di una suite di strumenti per agenti ottimizzati e di un ambiente di esecuzione isolato (basato su VM) per supportare la ricerca futura.

4. Risultati Sperimentali

L'agente è stato valutato su tre principali benchmark che coprono visione, logica e compiti generali:

OSWorld (Ragionamento Visivo):
- Metrica: Accuratezza su 369 compiti desktop a risposta aperta.
- Risultato: InfantAgent-Next ha raggiunto un'accuratezza del 35,3% (50 passaggi), superando Claude-Computer-Use (26,0%) del 7,27% e battendo altri framework open-source come Agent-S2. Ha dimostrato una capacità superiore di ancorare le istruzioni in linguaggio naturale agli elementi della GUI.
SWE-Bench (Ragionamento Logico e Codice):
- Metrica: Risoluzione di issue reali su GitHub.
- Risultato: Sul sottoinsieme SWE-Bench-Verified (50 casi), ha raggiunto un'accuratezza del 66%, superando diversi agenti closed-source (es. Amazon Q Developer Agent al 54%). Su SWE-Bench-Lite, ha raggiunto il 31,67%, posizionandosi tra i migliori agenti open-source.
GAIA (Prestazioni su Compiti Generali):
- Metrica: Domande a risposta aperta su tre livelli di difficoltà.
- Risultato: InfantAgent-Next si è classificato secondo tra gli agenti open-source (media del 56,97%), seguito solo da OWL, e ha raggiunto prestazioni all'avanguardia sulle domande di difficoltà di Livello 2 (intermedio).
Studi di Ablazione:
- Il meccanismo di Ritaglio Iterativo della Regione ha mostrato una convergenza nell'accuratezza entro la 3ª iterazione, con 2 iterazioni che offrono il miglior compromesso tra prestazioni e costo.
- La logica di Modifica File ha raggiunto un tasso di successo totale del 90,4% sui compiti SWE-Bench, riparando con successo l'84,3% dei tentativi falliti (es. correggendo errori di riga off-by-one).

5. Significato

InfantAgent-Next rappresenta un passo significativo in avanti negli Agenti Generalisti per Computer. Spostandosi dagli approcci "un singolo modello fa tutto" o "catena di strumenti rigida", dimostra che un'architettura modulare multi-modello può raggiungere sia alta precisione nell'esecuzione (tramite grounding specializzato e logica di modifica) sia ampia adattabilità (tramite selezione dinamica degli strumenti e comprensione multimodale).

Il lavoro dimostra che:

L'ibridazione è fondamentale: Combinare il potere di ragionamento degli LLM con la precisione di moduli specializzati di visione e strumenti supera i modelli monolitici.
Il raffinamento iterativo funziona: Semplici miglioramenti algoritmici (come il ritaglio iterativo) possono risolvere drasticamente il problema delle "coordinate allucinate" che affligge gli agenti visivi.
Scalabilità: Il framework è abbastanza robusto da gestire flussi di lavoro complessi e multi-step che coinvolgono codice, navigazione web e manipolazione di file, rendendolo un candidato valido per compiti di automazione nel mondo reale.

La messa a disposizione open-source del codice, dei modelli e degli script di valutazione fornisce una solida base per la comunità per sviluppare ulteriormente sistemi di agenti multimodali.