🤖 AI

InfantAgent-Next: A Multimodal Generalist Agent for Automated Computer Interaction

Het artikel introduceert InfantAgent-Next, een sterk modulaire multimodale generalistische agent die toolgebaseerde en puur visuele capaciteiten integreert om collaboratieve, stap-voor-stap computerinteractie mogelijk te maken en state-of-the-art prestaties bereikt op diverse benchmarks, waaronder OSWorld, GAIA en SWE-Bench.

Oorspronkelijke auteurs: Bin Lei, Weitai Kang, Zijian Zhang, Winson Chen, Xi Xie, Shan Zuo, Mimi Xie, Ali Payani, Mingyi Hong, Yan Yan, Caiwen Ding

Gepubliceerd 2026-05-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bin Lei, Weitai Kang, Zijian Zhang, Winson Chen, Xi Xie, Shan Zuo, Mimi Xie, Ali Payani, Mingyi Hong, Yan Yan, Caiwen Ding

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar iets onhandige, persoonlijke assistent hebt met de naam InfantAgent-Next.

In de wereld van computerautomatisering zijn de meeste assistenten tegenwoordig als specialisten die maar één ding heel goed kunnen, of als generalisten die alles proberen maar vaak in de war raken.

Sommige assistenten zijn als Bibliothecarissen: Ze zijn uitstekend in het gebruik van een specifieke lijst met hulpmiddelen (zoals "zoek het web" of "open een bestand"), maar als je hen vraagt op een knop te klikken op een scherm dat ze nog nooit hebben gezien, bevriezen ze omdat ze geen hulpmiddel hebben voor die specifieke knop.
Andere assistenten zijn als Artiesten: Ze kunnen naar een scherm kijken en "zien" wat er staat, maar ze worstelen met complexe wiskunde of het schrijven van code omdat ze proberen dit alles alleen met hun ogen te doen, zonder rekenmachine of teksteditor.

InfantAgent-Next is anders. Het is alsof je een Zwitsers zakmes-team huurt in plaats van één persoon.

Hoe het werkt: Het "Brein en Handen"-team

In plaats van één enorm brein dat alles probeert te doen, breekt InfantAgent-Next elke taak op in kleine stappen en stuurt elke stap naar de expert die het beste geschikt is.

De Manager (De Planner): Wanneer je vraagt: "Bewaar deze webpagina in mijn bladwijzers", leest een hoog-niveau "Manager"-model je verzoek. Het probeert niet zelf op de muis te klikken. In plaats daarvan zegt het: "Oké, we moeten de browser openen, de bladwijzerknop vinden en erop klikken."
De Specialisten: De Manager roept vervolgens de juiste expert voor de klus:
- Het Oog (Visuele Verankering): Als de taak is "klik op de rode knop", kijkt een gespecialiseerd visueel model naar het scherm, vindt de exacte pixelcoördinaten van die rode knop en vertelt het systeem waar te klikken. Het is als een scherpsichtig spotters die een blinddoekboogschutter begeleidt.
- De Rekenmachine (Code-uitvoering): Als de taak is "analyseer dit Excel-bestand", geeft de Manager het bestand door aan een code-expert die een script schrijft om de wiskunde direct uit te voeren, in plaats van te proberen de rijen te tellen door naar het scherm te kijken.
- Het Oor (Audio-analyse): Als je een opname uploadt en vraagt: "Welk paginanummer wordt genoemd?", luistert een gespecialiseerd audio-model naar het bestand en haalt het antwoord eruit.
Het Geheugen: Het systeem houdt een gedeeld notitieboek bij. Elke keer dat een specialist een stap afrondt, schrijft hij het op. De volgende specialist pakt het notitieboek op, leest wat er is gebeurd en zet het verhaal voort. Dit zorgt ervoor dat het team de doelstelling niet uit het oog verliest.

Waarom dit belangrijk is (De "Magische" trucs)

Het artikel benadrukt twee hoofdproblemen die dit systeem oplost:

Het "Klikken"-probleem: Veel AI-agenten zijn slecht in het klikken op de juiste plek op een scherm. Ze klikken misschien 5 pixels te links en missen de knop. InfantAgent-Next gebruikt een "Zoom-In"-techniek. Als het op een knop moet klikken, gokt het niet zomaar. Het maakt een foto van het scherm, vindt het algemene gebied, knipt dat gebied uit om het groter te maken, vindt de knop opnieuw, knipt het opnieuw uit, en klikt dan. Het is alsof je een vergrootglas gebruikt om een naald in een hooiberg te vinden, zodat de klik precies is.
Het "Bewerken"-probleem: Bij het bewerken van een tekstbestand krijgt AI vaak de regellijnen verkeerd (bijvoorbeeld: "Verander regel 5" terwijl het regel 6 zou moeten zijn). InfantAgent-Next heeft een "Dubbelcheck"-systeem. Het stelt een wijziging voor, kijkt vervolgens naar de daadwerkelijke tekst om te verifiëren: "Zegt regel 5 echt wat ik denk dat het zegt?" Zo niet, dan past het zijn plan aan voordat het de bewerking uitvoert, waardoor rommelige fouten worden voorkomen.

Wat het kan doen (Het bewijs)

De onderzoekers hebben dit "Team van Specialisten" getest tegen andere top-tier AI-agenten op drie soorten uitdagingen:

Real-world desktoptaken (OSWorld): Ze vroegen de agent om dingen te doen zoals "een bestand downloaden", "een document bewerken" en "een website navigeren". InfantAgent-Next versloeg de beroemde "Claude Computer Use"-agent met 7,27%. Het was beter in het daadwerkelijk de klus te klaren zonder menselijke hulp.
Coderen en bugfixes (SWE-Bench): Ze vroegen de agent om kapotte code in echte softwareprojecten te repareren. Het presteerde even goed als, of beter dan, veel dure, gesloten-bron commerciële agenten.
Algemene kennis en logica (GAIA): Ze stelden complexe vragen die vereisten zoeken op het web, bestanden lezen en redeneren. InfantAgent-Next eindigde als tweede onder alle open-source agenten, wat bewijst dat het lastige, meerstapslogica aankan.

De conclusie

InfantAgent-Next is niet zomaar één groot AI-model dat probeert alles te zijn. Het is een modulaire dirigent die precies weet wanneer hij het "Oog", het "Oor", de "Coder" of de "Muis-klikker" moet roepen. Door elke specialist te laten doen waar hij het beste in is, wordt het hele systeem veel slimmer, nauwkeuriger en capabeler in het afhandelen van de rommelige, real-world taken waar we elke dag op onze computers mee geconfronteerd worden.

De onderzoekers hebben de code voor dit "Team van Specialisten" beschikbaar gesteld voor iedereen om te gebruiken en te bestuderen, in de hoop om in de toekomst nog betere computerassistenten te helpen bouwen.

1. Probleemstelling

Huidige geautomatiseerde AI-agenten voor computerinteractie staan voor een fundamentele afweging tussen generaliteit en nauwkeurigheid:

Tool-gebaseerde Agenten: (bijv. OpenHands, AutoGPT) vertrouwen op vooraf gedefinieerde tools (code, zoekopdrachten) om de nauwkeurigheid op specifieke taken te verhogen. Ze vereisen echter handmatige integratie van tools voor elk nieuw scenario, waardoor ze breekbaar zijn en beperkt in scope. Ze falen vaak wanneer ze software tegenkomen die niet wordt gedekt door hun toolset.
Pure Vision Agenten: (bijv. UI-TARS, Aguvis) gebruiken Vision-Language Models (vLLMs) om GUI's direct te bedienen zonder tools. Hoewel ze zeer algemeen toepasbaar zijn, worstelen ze met redeneren op hoge resolutie, waarbij ze vaak UI-elementen verkeerd lokaliseren (op de verkeerde coördinaten klikken) of falen bij precieze taken zoals bestandsbewerking en code-manipulatie, waar simpele tool-aanroepen zouden volstaan.
De Kloof: Bestaande oplossingen missen óf de flexibiliteit om diverse, ongestructureerde taken aan te pakken, óf de precisie om complexe, tool-rijke bewerkingen betrouwbaar uit te voeren. Er is behoefte aan een hybride paradigma dat de precisie van tool-gebaseerde uitvoering verenigt met de aanpasbaarheid van pure vision-besturing.

2. Methodologie: InfantAgent-Next Architectuur

InfantAgent-Next introduceert een hoogst modulaire, multimodale generalist-agent die tool-gebaseerde en pure-vision-benaderingen integreert binnen een unificerend dialoogcontext. In plaats van te vertrouwen op één monolithisch model, routeert het subtaken naar gespecialiseerde modellen op basis van hun sterktes.

Kernarchitectuur

Het systeem werkt in een iteratieve lus bestaande uit drie distincte rollen, die elk mogelijk worden aangedreven door een ander model:

Planner: Analyseert het gebruikersverzoek en de huidige staat om een hoog-niveau takenplan te genereren.
Tool Selector: Selecteert dynamisch de meest geschikte toolkit (bijv. Bestandsbewerking, Webbrowsen, Computergebruik) uit een gecureerde bibliotheek.
Executor: Roept de geselecteerde tools aan en verzamelt feedback uit de omgeving.

Belangrijke Technische Componenten:

Modulaire Werkstroom & Geheugen: De agent onderhoudt een unificerend dialooggeschiedenis, maar parseert antwoorden met speciale tags (<thought>, <task>, <toolkit>, <execute_bash>, etc.). Dit stelt het systeem in staat context specifiek te reconstrueren voor de huidige subtaak (planning versus uitvoering), waardoor contextvenster-opblazing en het genereren van irrelevante inhoud worden voorkomen.
Dynamische Toolset: Het systeem categoriseert tools in zeven toolkits (Bestandslezen, Zoeken, Bewerken, Webbrowsen, Computergebruik, Code-executie, Geavanceerde Tools). Het selecteert dynamisch een subset van relevante tools voor elke stap om inferentiekosten en cognitieve belasting op de LLM te verminderen.
Multimodale Integratie: De agent ondersteunt tekst, afbeeldingen, audio en video. Het kan audio-analyse routeren naar gespecialiseerde audio-modellen, visuele grounding naar vision-modellen en logisch redeneren naar geavanceerde LLM's.

Nieuwe Verbeteringen

Het paper introduceert specifieke algoritmen om bekende faalpunten in SOTA-agenten aan te pakken:

Iteratief Regiocroppen voor Muisklikken (Algoritme 1): Om het probleem van "visuele grounding" op te lossen waarbij modellen coördinaten verkeerd identificeren:
1. De agent maakt een screenshot van het volledige scherm.
2. Een visuele grounding-model voorspelt een kandidaat-coördinaat.
3. Het systeem cropt een kleiner gebied rond die coördinaat.
4. Dit proces wordt $n$ keer herhaald (iteratief de zoekruimte verkleinend).
5. De final verfijnde coördinaat wordt gebruikt voor de klik. Dit reduceert significante afleiding door irrelevante pixels.
Robuuste Bestandsbewerking (Algoritme 2): Om fouten in op regelnummers gebaseerde bestandsbewerkingen aan te pakken:
1. De agent genereert een plan met start-/eindregels en verwachte inhoud.
2. Het verifieert of de werkelijke bestandsinhoud overeenkomt met de verwachte grenzen.
3. Bij een mismatch (bijv. een off-by-one fout) schakelt het over naar een fallback-strategie: het vervaagt de verwachte inhoudsstrings en doorzoekt het bestand naar de best passende span, waarbij het bewerkingsverzoek dynamisch wordt bijgewerkt voordat de wijziging wordt toegepast.

3. Belangrijkste Bijdragen

InfantAgent-Next Framework: Een open-source, multimodale generalist-agent die tool-gebaseerde en pure-vision-paradigma's overbrugt, met ondersteuning voor tekst-, afbeelding-, audio- en video-invoer.
Gedetailleerde Modularisatie: Een nieuwe architectuur die planning, tool-selectie en uitvoering ontkoppelt, waardoor verschillende modellen (redeneren, visuele grounding, audio-analyse) naadloos kunnen samenwerken binnen een unificerende context.
Verbeterde Uitvoeringsmechanismen: De introductie van Iteratief Regiocroppen voor hoog-precisie GUI-interactie en een Fuzzy-Match Fallback voor betrouwbare bestandsbewerking, waarmee de twee belangrijkste faalmodi van huidige agenten worden aangepakt.
Open-Source Toolkit: Uitgifte van een suite van geoptimaliseerde agent-tools en een geïsoleerde uitvoeringsomgeving (VM-gebaseerd) om toekomstig onderzoek te ondersteunen.

4. Experimentele Resultaten

De agent werd geëvalueerd op drie grote benchmarks die vision, logica en algemene taken bestrijken:

OSWorld (Visueel Redeneren):
- Maatstaf: Nauwkeurigheid op 369 open-ended desktop-taken.
- Resultaat: InfantAgent-Next behaalde 35,3% nauwkeurigheid (50 stappen), presteerde 7,27% beter dan Claude-Computer-Use (26,0%) en sloeg andere open-source frameworks zoals Agent-S2. Het toonde een superieure vermogen om natuurlijke taal-instructies te gronden in GUI-elementen.
SWE-Bench (Logisch Redeneren & Code):
- Maatstaf: Oplossen van real-world GitHub-issues.
- Resultaat: Op de SWE-Bench-Verified (50 gevallen) subset behaalde het 66% nauwkeurigheid, presteerde beter dan meerdere gesloten-source agenten (bijv. Amazon Q Developer Agent op 54%). Op SWE-Bench-Lite behaalde het 31,67%, wat het plaatst onder de top open-source agenten.
GAIA (Algemene Taakprestatie):
- Maatstaf: Open-ended vragen over drie moeilijkheidsgraden.
- Resultaat: InfantAgent-Next eindigde tweede onder open-source agenten (56,97% gemiddeld), alleen achter OWL, en behaalde state-of-the-art prestaties op vragen met niveau 2 (intermediaire) moeilijkheid.
Ablatiestudies:
- Het Iteratief Regiocroppen-mechanisme bleek tegen de 3e iteratie te convergeren in nauwkeurigheid, waarbij 2 iteraties de beste afweging boden tussen prestaties en kosten.
- De Bestandsbewerking-logica behaalde een totale succesrate van 90,4% op SWE-Bench-taken, waarbij 84,3% van de mislukte pogingen succesvol werd gerepareerd (bijv. het oplossen van off-by-one-regelfouten).

5. Betekenis

InfantAgent-Next vertegenwoordigt een significante stap voorwaarts in Generalist Computer Agenten. Door weg te bewegen van de "één model doet alles"- of "stijve toolchain"-benaderingen, toont het aan dat een modulaire, multi-model architectuur zowel hoge precisie in uitvoering (via gespecialiseerde grounding en bewerkingslogica) als brede aanpasbaarheid (via dynamische tool-selectie en multimodaal begrip) kan bereiken.

Het werk bewijst dat:

Hybridisatie cruciaal is: Het combineren van de redeneercapaciteit van LLM's met de precisie van gespecialiseerde vision- en tool-modules presteert beter dan monolithische modellen.
Iteratieve verfijning werkt: Eenvoudige algoritmische verbeteringen (zoals iteratief croppen) kunnen het probleem van "gehallucineerde coördinaten" drastisch oplossen dat visuele agenten teistert.
Schaalbaarheid: Het framework is robuust genoeg om complexe, multi-stap workflows te hanteren die code, webbrowsen en bestandsmanipulatie omvatten, waardoor het een levensvatbare kandidaat is voor real-world automatiseringstaken.

Het open-source maken van de code, modellen en evaluatiescripts biedt een sterke basis voor de gemeenschap om multimodale agentsystemen verder te ontwikkelen.