OmniGAIA: Towards Native Omni-Modal AI Agents

Deze paper introduceert OmniGAIA, een benchmark voor het evalueren van multi-modale agenten, en OmniAtlas, een oorspronkelijk omni-modaal fundamentmodel dat door middel van geavanceerde trainingsstrategieën complexe redenering en hulpmiddelgebruik integreert over video, audio en tekst.

De kern

Stel je voor dat je een superintelligente assistent hebt die niet alleen kan lezen en schrijven, maar ook perfect kan kijken, luisteren en nadenken over wat hij ziet en hoort. Dat is het doel van de onderzoekers achter dit nieuwe paper: OmniGAIA.

Hier is een uitleg in gewoon Nederlands, vol met creatieve vergelijkingen om het begrijpelijk te maken.

1. Het Probleem: De "Twee-Oog" Assistent

Tot nu toe waren slimme computerprogramma's (zoals de huidige AI's) vaak als mensen met een beperking: ze konden goed kijken of goed luisteren, maar zelden allebei tegelijk op een natuurlijke manier.

• Huidige AI: Stel je een detective voor die alleen foto's mag bekijken, maar de getuigenverklaringen (audio) niet mag horen. Of een detective die alleen naar geluiden luistert, maar de scène niet mag zien. Ze missen het grote plaatje.
• Het doel: Mensen doen dit van nature. Als je naar een film kijkt, hoor je de muziek, zie je de gezichten en begrijp je de plot tegelijk. De onderzoekers willen AI's bouwen die dat ook kunnen: Omni-Modal (alles-in-één) intelligentie.

2. De Nieuwe Testbaan: OmniGAIA

Om te zien of deze nieuwe AI's echt slim zijn, hebben de onderzoekers een nieuwe test gemaakt genaamd OmniGAIA.

• De Vergelijking: Stel je voor dat je een rijbewijs wilt halen. De oude tests waren alleen maar "parkeer je auto op een lege parkeerplaats" (makkelijk, één vaardigheid). OmniGAIA is als een chaotische stadstraf tijdens de spits, waar je tegelijkertijd moet kijken naar verkeerslichten, luisteren naar sirenes, nadenken over de route en bellen met de verkeersleiding (tools gebruiken) om een antwoord te krijgen.
• Hoe het werkt: De test bestaat uit vragen over video's met geluid of foto's met geluid. De AI moet niet alleen het antwoord "raden", maar ook internet zoeken of rekenen om het te bewijzen.
  • Voorbeeld: "In deze video zien we een brug. De spreker zegt dat hij denkt aan een brug uit de film The Blues Brothers. Hoe oud was die brug toen de film draaide?"
  • De AI moet: 1. Kijken naar de video, 2. Luisteren naar de spreker, 3. Zoeken op Google naar de bouwdatum van die specifieke brug, 4. Zoeken naar de filmproductiedatum, en 5. Rekenen.

3. De Bouwmanier: De "Gebeurtenis-Netwerk"

Hoe maak je zo'n moeilijke test? Je kunt niet zomaar willekeurige vragen bedenken.

• De Metafoor: Stel je voor dat je een detectiveverhaal schrijft. Je begint met een paar losse feiten (een brug, een film, een datum). Dan bouw je een spinnenweb (een "Event Graph") waar alle feiten aan elkaar hangen.
• Het Proces:
  1. De computer kijkt naar de video en haalt alle details eruit (wie spreekt, wat is er te zien).
  2. Het maakt een kaartje met alle verbanden.
  3. Vervolgens "verwazigt" de computer een paar details (zoals het verbergen van de naam van de brug) en vraagt de AI om die te vinden door het web te volgen en tools te gebruiken.
  4. Mensen controleren of de vraag echt oplosbaar is.

4. De Nieuwe Held: OmniAtlas

De onderzoekers hebben niet alleen een test gemaakt, maar ook een nieuwe AI-agent gebouwd die deze test moet halen: OmniAtlas.

• De Vergelijking: Stel je voor dat je een leerling hebt die slecht is in het zoeken naar informatie. OmniAtlas is als een tutor die de leerling helpt.
  • Actief Kijken/Luisteren: In plaats van dat de AI de hele video in één keer "slikt" (wat vaak leidt tot het verliezen van details, alsof je een hele film in één seconde probeert te zien), kan OmniAtlas zeggen: "Wacht, ik wil die ene seconde van de video nog eens heel goed bekijken" of "Ik wil dat stukje audio opnieuw horen". Het kiest zelf waar het moet kijken.
  • Leren van fouten: De AI maakt eerst veel fouten. De onderzoekers gebruiken een slimme methode (genaamd OmniDPO) om de AI te leren: "Je hebt hier de verkeerde brug gezocht. Probeer het zo." Het is alsof je een speler in een spel laat zien waar hij de verkeerde afslag nam, zodat hij de volgende keer de goede route kiest.

5. Wat Vonden Ze? (De Resultaten)

Toen ze de test deden, zagen ze een paar belangrijke dingen:

• Grote Kloof: De beste commerciële AI's (zoals Google's Gemini) deden het redelijk goed, maar de open-source AI's (die iedereen gratis kan gebruiken) deden het nog erg slecht. Ze faalden vaak omdat ze niet durfden te zoeken of de verkeerde zoekopdracht gaven.
• Groot is niet altijd beter: Een enorm groot model was niet per se slimmer. Soms was een kleiner model, dat beter was getraind om tools te gebruiken (zoals zoeken en rekenen), juist slimmer.
• De Les: De grootste uitdaging is niet alleen "zien" en "horen", maar het plannen van een zoektocht. Als de AI niet weet waar hij moet zoeken, helpt het niet hoe slim hij is.

Conclusie

Dit paper is een stap in de richting van een AI-assistent die echt als een mens werkt: die naar een film kijkt, luistert naar de dialogen, nadenkt over de context, en vervolgens zelf op internet gaat zoeken om een vraag te beantwoorden.

OmniGAIA is de examenhal waar deze AI's moeten laten zien dat ze klaar zijn voor de echte wereld, en OmniAtlas is de nieuwe leerling die laat zien dat je met de juiste training (leren zoeken en plannen) al snel veel slimmer kunt worden.

Technische samenvatting

Probleemstelling

Huidige kunstmatige intelligentie-systemen, en specifiek multimodale Large Language Models (LLM's), zijn grotendeels beperkt tot bi-modale interacties (bijvoorbeeld visueel-taal of auditief-taal). Hoewel menselijke intelligentie natuurlijk visie, audio en taal combineert met complex redeneren en het gebruik van hulpmiddelen om de wereld te begrijpen en acties te ondernemen, missen bestaande modellen de vereiste cognitieve capaciteiten voor echte "all-in-one" AI-assistenten.

De huidige benchmarks zijn vaak:

1. Beperkt tot korte audio- of videosegmenten.
2. Gericht op waarneming (perceptie) in plaats van langdurig redeneren.
3. Gebaseerd op meerkeuzevragen in plaats van open antwoorden die verificatie vereisen.
4. Onvoldoende in het testen van multi-hop redenering (meerdere stappen) en multi-turn gebruik van externe hulpmiddelen (zoals websearch of code-executie) over verschillende modaliteiten heen.

Er is een duidelijke kloof tussen de perceptiecapaciteiten van bestaande modellen en hun vermogen om als autonome agenten te handelen in complexe, realistische scenario's.

Methodologie

Het paper introduceert twee hoofdcomponenten: een nieuwe benchmark (OmniGAIA) en een nieuw agent-architectuur met trainingsstrategie (OmniAtlas).

1. OmniGAIA: De Benchmark

OmniGAIA is een uitdagende benchmark ontworpen om native omni-modale agenten te testen.

• Datastructuur: Het bevat 360 taken verdeeld over 9 real-world domeinen (zoals geschiedenis, technologie, film). De taken combineren video met audio en afbeeldingen met audio.
• Constructie Pipeline (Event Graph): De dataset is niet handmatig gemaakt, maar gegenereerd via een innovatieve "Omni-modal Event Graph" aanpak:
  1. Data Collectie & Signal Mining: Ruwe media worden verwerkt om fijne signalen te extraheren (OCR, objectherkenning, ASR, sprekeridentificatie).
  2. Event Graph Opbouw: Een sterke redeneeragent bouwt een graaf die entiteiten, gebeurtenissen en cross-modale relaties verbindt.
  3. Agent Expansie: De graaf wordt uitgebreid met externe tools (websearch, code-executor) om ontbrekende bewijslast te vinden.
  4. Event Fuzzification: Sleutelknooppunten in de graaf worden "vaag" gemaakt (bijv. een specifieke naam vervangen door een type) om multi-hop vragen te genereren die dwingen tot het integreren van bewijs uit meerdere bronnen.
• Evaluatie: Taken vereisen open-form antwoorden en multi-turn tool-gebruik. De moeilijkheidsgraad varieert van makkelijk tot zeer moeilijk.

2. OmniAtlas: De Agent

OmniAtlas is een native omni-modale foundation agent die het Tool-Integrated Reasoning (TIR) paradigma volgt.

• Actieve Perceptie: In tegenstelling tot modellen die media volledig "downsamplen" (wat details verliest), kan OmniAtlas actief specifieke segmenten van video's, audio of afbeeldingen opvragen (bijv. read_video(t_start, t_end)). Dit stelt de agent in staat om "te kijken of te luisteren waar nodig".
• Trainingsstrategie:
  • Traject Synthese: Gebruikmakend van "Hindsight-Guided Tree Exploration" worden succesvolle oplossingspaden gegenereerd door een sterke agent (DeepSeek-V3.2) die probeert, faalt, en wordt gecorrigeerd door een verifier.
  • Supervised Fine-Tuning (SFT): Het model leert op deze gesynthetiseerde trajecten, waarbij alleen de tokens van de agent (redenering en tool-calls) worden geleerd, niet de tool-observaties zelf.
  • OmniDPO: Voor fijne-granulariteit correctie. Als een traject faalt, identificeert het systeem de eerste fout en genereert een gecorrigeerde prefix. Dit wordt gebruikt voor Direct Preference Optimization (DPO) om specifieke fouttypes (waarneming, redenering, tool-gebruik) te corrigeren.

Belangrijkste Resultaten

De experimenten tonen aan dat OmniGAIA een zeer uitdagende benchmark is en dat OmniAtlas significante verbeteringen biedt.

• Prestatiekloof: Er is een enorme kloof tussen gesloten (proprietary) en open-source modellen.
  • De sterkste proprietary model (Gemini-3-Pro) bereikt 62.5% Pass@1.
  • De sterkste open-source baseline (Qwen-3-Omni) bereikt slechts 13.3%.
• Effectiviteit van OmniAtlas: De trainingsmethode van OmniAtlas verbetert open-source modellen aanzienlijk.
  • Qwen-3-Omni stijgt van 13.3% naar 20.8% (+7.5 absoluut).
  • Voor kleinere modellen (Qwen-2.5-Omni-7B) is de verbetering nog dramatischer: van 3.6% naar 13.3% (een factor 3.7).
• Foutanalyse:
  • De belangrijkste fouten zijn ineffectief tool-gebruik en redeneerfouten, niet per se instructie-gevolg.
  • Bij moeilijke taken falen open-source modellen vaak door "tool-query drift": ze zoeken bevestiging van een verkeerde hypothese in plaats van de locatie of context correct te verifiëren.
  • Native vs. Tool-Perceptie: Voor sterke agenten is native perceptie superieur. Het vervangen van native perceptie door tool-based perceptie (waarbij het model een apart perceptiemodel aanroept) verhoogt de kosten en latentie zonder de nauwkeurigheid op moeilijke taken te verbeteren.

Bijdragen

1. OmniGAIA Benchmark: De eerste benchmark die native omni-modale agenten test met video/audio/input, multi-domein dekking, multi-hop redenering en multi-turn tool-gebruik voor verifieerbare open antwoorden.
2. Event-Graph Constructie Pipeline: Een schaalbare methode om complexe, oplosbare taken te synthetiseren uit real-world data via event fuzzification en tool-augmented grafieken.
3. OmniAtlas Agent & Training: Een native omni-modale agent met actieve perceptie en een praktische trainingsrecept (SFT + OmniDPO) die de agentcapaciteiten van open-source modellen aanzienlijk verbetert.
4. Uitgebreide Evaluatie: Diepgaande analyses van fouttypes, tool-call distributies en de impact van native versus tool-gebaseerde perceptie, die aanwijzingen geven voor toekomstig onderzoek.

Betekenis en Toekomst

Dit werk markeert een stap in de richting van de volgende generatie AI-assistenten die echt in staat zijn om in de realiteit te opereren. Het benadrukt dat het simpelweg vergroten van het aantal parameters niet voldoende is; de sleutel ligt in robust tool-integrated reasoning en nauwkeurige cross-modale perceptie.

De studie identificeert drie veelbelovende richtingen voor de toekomst:

1. Omni-modal Agentic RL: Het direct optimaliseren van lange-termijn agent-beleid via versterking leren.
2. Omni-modal MCP Services: Schaalbare tools voor bredere omni-modale taken.
3. Embodied Agents: Het toepassen van deze principes op fysieke robots en agents in de fysieke wereld.

Kortom, OmniGAIA en OmniAtlas bieden een cruciaal fundament om de kloof te overbruggen tussen passieve multimodale waarneming en actieve, redenerende AI-assistenten.