🤖 AI

Omni-Decision: A Progressive Evidence-State Agent System for Omni-Modal QA

Het artikel introduceert Omni-Decision, een zonder training werkend agentsysteem dat de nauwkeurigheid van omnimodale QA verbetert door een gestructureerde, expliciete bewijsstatus te onderhouden om systematisch informatiekloven over diverse mediabronnen te volgen, te valideren en te dichten, waarmee het significante prestatiewinst boekt ten opzichte van bestaande baselines.

Oorspronkelijke auteurs: Ming Ma, Yi Zhu, Yiran Zhong, Feida Zhu, Weigao Sun, Junhan Shi, Lingrui Mei, Tianming Yang, Steven Hoi

Gepubliceerd 2026-07-14

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ming Ma, Yi Zhu, Yiran Zhong, Feida Zhu, Weigao Sun, Junhan Shi, Lingrui Mei, Tianming Yang, Steven Hoi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar de aanwijzingen liggen overal verspreid: een minuscuul detail in een videoclip, een gefluister in een audiospoor, een feit verborgen op een website, en een getal dat je op een rekenmachine moet berekenen. De meeste AI-detectives van vandaag werken als iemand die koortsachtig aantekeningen maakt op een slordig servetje. Ze bekijken een aanwijzing, schrijven het op, kijken naar een andere, schrijven het op, en hopen dat ze tegen de tijd dat ze bij het einde zijn, nog weten welke aantekening bij welk deel van het mysterie hoort. Vaak raken ze verdwaald in hun eigen krabbels, vergeten ze wat ze al hebben gevonden, of proberen ze het puzzelstukje op te lossen voordat ze alle stukjes in handen hebben.

Dit artikel introduceert een nieuw detectivesysteem genaamd Omni-Decision. In plaats van een slordig servetje gebruikt dit systeem een gestructureerde, levende checklist genaamd een "evidence state" (bewijstoestand). Denk aan deze checklist als een magisch whiteboard dat de detective niet kan negeren. Het slaat niet alleen aantekeningen op; het houdt actief bij wat bevestigd is, wat ontbreekt, wat tegenstrijdig is en wat er als volgende berekend moet worden.

Zo werkt de magie:

De Checklist: Wanneer een vraag wordt gesteld, breekt het systeem deze onmiddellijk af in specifieke "behoeften" op het whiteboard. Bijvoorbeeld: "Vind het merk horloge in de video" of "Vind de datum waarop Instagram werd gelanceerd."
De Loop: De detective kiest een hulpmiddel (zoals een webzoekopdracht of een videoscanner) om één item op de lijst in te vullen.
De Rechter: Voordat de detective verdergaat, controleert een strikte "Critic" (criticus) de nieuwe informatie. Heeft het het probleem opgelost? Spreekt het iets tegen wat eerder is gevonden?
De Update: Een speciale "Reducer" werkt het whiteboard bij. Als een aanwijzing is gevonden, wordt het vakje "ontbrekend" groen. Als twee aanwijzingen met elkaar in strijd zijn, wordt er een rode "conflict"-vlag geplaatst. De detective gaat nooit verder totdat het whiteboard aangeeft dat de huidige stap voltooid is.
De Stop: Het systeem weet precies wanneer het moet stoppen. Het raadt niet zomaar een antwoord omdat het moe is; het geeft pas antwoord wanneer het whiteboard laat zien dat elk vereist stuk bewijs is vastgelegd en er geen conflicten meer zijn. Als de middelen op zijn en het bord nog steeds incompleet is, geeft het systeem een nederlaag toe in plaats van een vals antwoord te verzinnen.

Waar het artikel tegen pleit:
De auteurs beargumenteren expliciet dat het simpelweg groter maken van AI-modellen of het geven van een langere "geheugen" (zoals een langer servetje) niet de oplossing is. Ze laten zien dat een enorme geschiedenis van eerdere acties niet helpt als de AI niet kan bijhouden wat daadwerkelijk onderbouwd is en wat er nog ontbreekt. Ze sluiten ook de mogelijkheid uit dat het systeem op deze manier moet werken door op nieuwe gegevens te worden "getraind"; het werkt door de manier waarop bestaande hulpmiddelen worden gebruikt te organiseren, niet door nieuwe trucjes te leren.

De Resultaten:
Het systeem werd gemeten op twee uitdagende tests. Op een test genaamd OmniGAIA, die gaat over zoeken in een open wereld via video's, audio en het web, behaalde Omni-Decision een nauwkeurigheid van 45,6%. Dit is een enorme sprong vergeleken met de standaard "base" agent, die slechts 18,33% scoorde. Dat is een winst van 27,3 procentpunt.

Op een tweede test genaamd WorldSense, die zich richt op het integreren van audio en video zonder externe webzoekopdrachten, scoorde het systeem 58,3%, waarmee het de baseline versloeg met 30,2 procentpunt.

De auteurs suggereren dat deze aanpak bijzonder goed is in het detecteren wanneer een detective vastloopt. In hun analyse van mislukte pogingen vonden ze dat veel "foute" antwoorden er eigenlijk op hadden dat de detective echte vooruitgang boekte—ze liepen alleen vast omdat een specifiek stuk bewijs (zoals het lezen van minuscule tekst op een bord) te moeilijk was voor de hulpmiddelen om te vinden. De kracht van het systeem is niet dat het nooit faalt, maar dat het duidelijk laat zien waar het faalde en waarom, in plaats van blind te gokken.

Kortom, Omni-Decision bewijst dat voor complexe, meerstaps mysteries, het hebben van een duidelijke, gedeelde kaart van wat bekend is en wat ontbreekt, veel krachtiger is dan alleen een langer geheugen of een groter brein hebben. Het verandert het chaotische proces van het zoeken naar aanwijzingen in een gedisciplineerde, stapsgewijze missie.

Technische Samenvatting: Omni-Decision

Probleemstelling

Omni-modale bewijszoekende Question Answering (QA) vereist dat agenten vragen beantwoorden waarbij het noodzakelijke bewijs verspreid is over heterogene bronnen, waaronder video's, audio, afbeeldingen, webpagina's en computationele resultaten. De auteurs identificeren drie primaire uitdagingen in deze setting:

Verspreid en gedistribueerd bewijs: Relevante aanwijzingen kunnen verschijnen in korte videosegmenten, specifieke ondertitel-spans, audio-events, beeldregio's of externe webresultaten, wat het moeilijk maakt om alle noodzakelijke componenten te lokaliseren.
Partiële observeerbaarheid: Het systeem kan niet vooraf weten welke entiteitseigenschappen, relaties of tussenliggende waarden vereist zijn totdat eerder bewijs is gegrond.
Antwoordgereedheid als een controleprobleem: De agent moet niet alleen beslissen wat er als volgende verworven moet worden, maar ook of een kandidaat-antwoord voldoende onderbouwd is, of conflicten reparatie vereisen en wanneer te stoppen als hiaten niet te overbruggen zijn.

Het artikel betoogt dat bestaande agentische multimodale systemen vaak falen omdat ze vertrouwen op impliciete dialooggeschiedenissen, scratchpads of vrije vorm tool-trajecten. Deze benaderingen maken het moeilijk om gegrond bewijs bij te houden, ontbrekende attributen te identificeren of te bepalen wanneer een bewijsketen compleet is. Bijgevolg wordt het probleem niet louter geframed als een context-schaalprobleem, maar als een state-maintenance probleem (toestand-onderhoudsprobleem).

Methodologie: Omni-Decision

De auteurs stellen Omni-Decision voor, een training-vrij systeem dat omni-modale QA herformuleert als een query-gespecificeerd bewijs-sluitingsproces (evidence-closure process). De kerninnovatie is het onderhouden van een expliciete, gestructureerde en bijwerkbare Evidence State ( $S_t$ ) die dient als het centrale controle-object voor de gehele inferentie-loop.

1. Query-gespecificeerde Bewijs-toestand

In tegen tegenstelling tot algemene video-geheugens of tool-logs, is de Evidence State specifiek voor de huidige query en bevat deze vier muteerbare componenten:

$E_t$ (Bevestigd Bewijs): Atomen van bevestigd bewijs met bronnen en temporele ondersteuning.
$C_t$ (Onopgeloste Conflicten): Registraties van tegenstrijdigheden tussen bewijsbronnen.
$F_t$ (Feit/Computationele Afhankelijkheden): Houdt externe feiten, entiteit-attribuut-completions en computationele resultaten bij.
$U_t$ (Openstaande Bewijsbehoeften): Lijsten van onopgeloste vragen en onzekerheid.

Het systeem initialiseert $S_0$ vanuit de query voordat er tool-calls plaatsvinden. Terwijl de agent met tools interacteert, wordt de toestand deterministisch bijgewerkt.

2. Inferentie-loop en Controle

Het systeem werkt in een loop (Algoritme 1) waarbij alle beslissingsmodules lezen uit een gedeeld staat-perspectief, terwijl slechts één module naar de staat schrijft:

Planner: Leest een begrensde digest van de onveranderlijke context ( $R_0$ ) en de huidige staat ( $S_t$ ) om de volgende actie te selecteren (toolgebruik of afronden).
Tools: Voeren acties uit (bijv. video-grounding, web zoeken, code-executie) en retourneren observaties.
Critic: Valideert of nieuwe observaties de huidige bewijsbehoeften ondersteunen, conflicteren met, of open laten.
Reducer: De enige component die naar de staat schrijft. Het normaliseert observaties en critic-oordelen tot getypeerde events en committeert deze via deterministische veld-update regels aan $S_{t+1}$ .
Finalizer: Ontwerpt pas een antwoord wanneer de staat gereedheid aangeeft.

3. Gereedheid en Stopcondities

Antwoordgereedheid wordt strikt afgeleid van de staat, en niet als een onafhankelijke planner-beslissing:
$\text{ready}(S_t) = (U_t = \emptyset) \land \text{complete}(F_t) \land (C_t = \emptyset)$
Het systeem termineert met een "voldoende" antwoord alleen als alle openstaande behoeften zijn ingevuld, alle afhankelijkheden zijn opgelost en er geen conflicten bestaan. Als geen beschikbare actie plausibel een openstaande behoefheid kan verminderen of een conflict kan oplossen, stopt het systeem met een "onvoldoende" status in plaats van een niet-onderbouwd antwoord te forceren.

Belangrijkste Bijdragen

Formulering: De auteurs formuleren omni-modale bewijszoekende QA als een query-gespecificeerd bewijs-sluitingsprobleem, waarbij de agent expliciet gegronde entiteiten, openstaande attributen, cross-entiteit relaties en externe afhankelijkheden moet bijhouden in plaats van te vertrouwen op impliciete historie.
Systeemontwerp: Ze stellen Omni-Decision voor, een training-vrij bewijs-staat systeem. Een cruciaal architecturaal onderscheid is dat planning, verificatie, reparatie en stoppen allemaal geconditioneerd zijn op dezelfde staat-view, terwijl de Reducer de enige schrijver naar de staat is. Dit maakt trajecten inspecteerbaar, reproduceerbaar en ablatie-baar.
Evaluatie: Het systeem wordt geëvalueerd op OmniGAIA (open-world, tool-augmented) en WorldSense (zelfgeconten audio-video MCQ), waarbij wordt aangetoond dat expliciete staat-controle de prestaties verbetert over verschillende taakformaten.

Experimentele Resultaten

OmniGAIA (Open-World Bewijsverzameling)

Prestaties: Omni-Decision behaalde een nauwkeurigheid van 45,6% op de OmniGAIA benchmark.
Verbetering: Dit vertegenwoordigt een verbetering van +27,3 procentpunt ten opzichte van de officiële OmniGAIA base agent (18,33%) en een verbetering van +30,2 procentpunt ten opzichte van de WorldSense baseline (58,3% vs. 28,1% voor OmniAgent).
Ablatie: Het verwijderen van de bewijs-toestand (No-State ablatie) veroorzaakte een significante daling in nauwkeurigheid (bijv. -9,17 punten in de standaardconfiguratie), wat bevestigt dat de winst afzonderbaar is van de keuze van de planner of perceptie-backend.
Falen-analyse: Audits van 40 Medium/Hard gevallen toonden aan dat veel "incorrecte" runs feitelijk progressie boekten langs de bewijsketen, maar werden geblokkeerd door ongesloten perceptie- of retrieval-slots, in plaats van dat ze niet eens begonnen.

WorldSense (Zelfgeconten Audio-Video)

Prestaties: Omni-Decision behaalde 58,3% nauwkeurigheid op WorldSense.
Transfereerbaarheid: Ondanks de afwezigheid van externe tools (web zoeken, browsen) in deze benchmark, bleef het bewijs-staat systeem effectief door interne media-bewijzen te organiseren voor multiple-choice read-out. Dit ondersteunt de claim dat de staat-interface een systeem-niveau controlemechanisme is dat onafhankelijk is van specifieke dataset-tooling.

Betekenis en Claims

Het artikel claimt dat Omni-Decision aantoont dat langdurige multimodale controle niet aan impliciete dialooghistorie moet worden overgelaten. Door de query-gespecificeerde bewijs-toestand als het centrale controle-object te behandelen, kan het systeem:

Gericht Bewijs Verwerpen: Direct specifieke ontbrekende bewijsbehoeften identificeren en nastreven.
Verspreide Aanwijzingen Preserveren: Cross-modale aanwijzingen behouden die anders verloren zouden gaan in lange, vrije vorm trajecten.
Inspecteerbare Controle Mogelijk Maken: Een duidelijk mechanisme bieden voor reparatie, conflictresolutie en stoppen op basis van de staat van bewijssluiting.

De auteurs positioneren Omni-Decision als een systeem-niveau controle-interface in plaats van een vaste multi-role implementatie. Ze benadrukken dat de bijdrage ligt in het read/write contract (modules consumeren een gedeelde staat, alleen genormaliseerde events worden gecommitteerd) in plaats van in het specifieke aantal rollen of tools. Het artikel concludeert dat hoewel het systeem de besluitvorming aanzienlijk verbetert met betrekking tot wat er ontbreekt en wanneer door te gaan, het de noodzaak voor low-level perceptie-capaciteiten of gekalibreerde onzekerheid van de onderliggende modellen niet vervangt.