Technische Samenvatting: Seeing Before Agreeing (EAGLE)

Probleemstelling

Hoewel Vision-Language Models (VLM's) sterke prestaties hebben behaald in Visual Question Answering (VQA), blijven ze gevoelig voor hallucinaties en de afhankelijkheid van spuriële taal-priors wanneer ze niet voldoende gegrond in de visuele context zijn. In scenario's met een hoog belang leiden dergelijke ongegronde redeneringen tot ongekalibreerde fouten.

Om individuele modeluitval te beperken, is multi-agent samenwerking een veelbelovend paradigma geworden, dat succesvol is toegepast in tekstuele QA om diverse perspectieven te aggregeren. Bestaande multi-agent VQA-methoden passen echter voornamelijk tekstgerichte protocollen aan. Ze richten zich op het uitwisselen van taal-niveau rationales en negeren daarbij de afstemming van de onderliggende visuele informatie. Dit creëert een kritieke kloof: agenten kunnen tot een "antwoord-niveau overeenstemming" komen op basis van uiteenlopende of incorrecte visuele begrijpissen, wat leidt tot een oppervlakkige consensus die niet betrouwbaar is.

Methodologie: EAGLE

De auteurs stellen EAGLE voor (Evidence-Aligned Grounded muLti-agent rEasoning), een training-vrij, bewijs-gecentreerd framework dat ontworig is om meerdere VLM-agenten te coördineren. In tegen tegenstelling tot traditionele benaderingen die uitsluitend vertrouwen op tekstuele discussie, dwingt EAGLE een principe af waarbij agenten hun visuele bewijslast moeten "zien en afstemmen" voordat ze tot overeenstemming komen.

Het framework werkt via vijf kernstadia:

1. Evidence Routing: Een lichtgewicht LLM-gebaseerde router classificeert de invoervraag in specifieke grondingsgranulariteiten (Lokaal, Relatie, Globaal of Precisie). Dit zorgt ervoor dat agenten taakspecifieke grondingsregio's genereren in plaats van mismatched of inconsistente boxen.
2. Grounded Answer: Elke agent genereert onafhankelijk een initieel antwoord vergezeld van expliciet ondersteunend bewijs:
   • Grounding Boxes: Ruimtelijke regio's in de afbeelding die het antwoord ondersteunen.
   • Visual Claims: Atomaire tekstuele verklaringen die beschrijven hoe de gegronde regio's het antwoord ondersteunen.
3. Evidence Diagnosis: Het systeem evalueert de consistentie van de output van de groep met behulp van twee signalen:
   • Antwoord Consistentie: Semantische equivalentie van de uiteindelijke antwoorden.
   • Bewijs Consistentie: Een samengestelde metriek die zowel Ruimtelijke Afstemming (wederzijdse dekking van grounding boxes via IoU-drempels) als Claim Afstemming (semantische compatibiliteit van visuele claims via een LLM-beoordelaar) vereist.
   • Early Exit: Als agenten een unanieme antwoordovereenstemming bereiken en volledig afgestemde visuele bewijslast hebben, wordt het proces onmiddellijk beëindigd.
4. Grounded Revision: Indien consensus niet wordt bereikt, gaan de agenten een revisiefase in. Ze heronderzoeken de afbeelding geconditioneerd op de staat van de vorige ronde, die hun eigen outputs, peer-outputs en diagnostische signalen bevat. Dit stelt agenten in staat tot zelfcorrectie door de visuele bewijslast van peers te kruisverifiëren.
5. Evidence-Guided Arbitration: Voor resterende onenigheden selecteert het systeem het uiteindelijke antwoord door prioriteit te geven aan groepen met hogere stemmen die ook worden ondersteund door afgestemde visuele bewijslast. Als er geen bewijs-afgestemde groep bestaat, valt het terug op het antwoord met de meeste stemmen.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

• Kerninzicht: Door middel van een pilotstudie demonstreren de auteurs dat overeenstemming op antwoordniveau alleen onvoldoende is voor betrouwbare multi-agent VQA. Zij stellen vast dat afgestemde visuele bewijslast—gedeelde ondersteuning vanuit specifieke beeldregio's—essentieel is voor een betrouwbare consensus. Zonder expliciete verankering zijn agenten vatbaar voor instabiele debatten of misleidende overeenkomsten.
• Bewijs-gecentreerd Framework: EAGLE wordt geïntroduceerd als een universeel, training-vrij framework dat de grounding-regio's van agenten expliciet maakt. Het maakt gebruik van bewijs-consistentie om diagnose, revisie en arbitrage aan te sturen, waardoor de coördinatiemechanisme verschuift van "wat agenten antwoorden" naar "wat agenten zien".
• Uitgebreide Evaluatie: De methode wordt geëvalueerd over zes diverse VQA-benchmarks (V*Bench, WhatsUp, MME, GQA, MC-Bench, MMVP), waarbij het superieure prestaties en interpreteerbaarheid laat zien ten opzichte van bestaande baselines.

Experimentele Resultaten

EAGLE werd geëvalueerd met een heterogene commissie van drie open-source VLM's (Qwen3-VL, GLM-4.6V-Flash, InternVL3.5-38B) en vergeleken met single-agent baselines (Zero-shot CoT, Self-Consistency, Self-Refine) en multi-agent baselines (Multi-Agent Debate, ReConcile, DART).

• Prestaties: EAGLE behaalde de beste gemiddelde nauwkeurigheid over alle zes de benchmarks en presteerde daarmee beter dan de sterkste baseline (DART, die externe tools gebruikt) met 2,54 procentpunt. Het verbeterde ten opzichte van de sterkste single-agent baseline met gemiddeld 6,33 procentpunt.
• Efficiëntie: Ondanks de complexe pipeline is EAGLE zeer efficiënt. Het vereiste de minste VLM-agent calls per sample (4,087) van alle methoden, waarmee het de hoogste nauwkeurigheid-tot-call ratio (17,79) behaalde. Deze efficiëntie komt voort uit de "Evidence-Gated Early Exit"-mechanisme, dat onnodige revisierondes vermijdt wanneer consensus visueel afgestemd is.
• Ablatie-studies: Het verwijderen van een kerncomponent (Routing, Grounding, Arbitration of Early Exit) resulteerde in prestatievermindering. Opvallend genoeg veroorzaakte het verwijderen van expliciete grounding boxes of evidence routing de meest significante degradatie, wat de noodzaak van taak-specifieke visuele bewijslast bevestigt.
• Casestudies: Kwalitatieve analyse toonde aan dat EAGLE initiële hallucinaties succesvol corrigeert (bijv. het foutief identificeren van de kleur van een object door te focussen op de verkeerde regio) door agenten te dwingen de visuele bewijslast te heronderzoeken tegen de gegronde claims van peers.

Betekenis en Claims

Het artikel claimt dat EAGLE een robuust mechanisme voor multimodale samenwerking biedt door multi-agent consensus te funderen in afgestemde visuele bewijslast in plaats van zuivere linguïstische convergentie.

• Betrouwbaarheid: Door te eisen dat agenten verifiëren dat hun voorspellingen worden ondersteund door dezelfde visuele regio's, mitigeert EAGLE het risico op "misleidende consensus" waarbij agenten het eens worden over een foutief antwoord op basis van verschillende (of gehallucineerde) visuele cues.
• Interpreteerbaarheid: Het framework maakt het redeneerproces transparant door de specifieke beeldregio's en claims bloot te leggen die gebruikt worden om tot een beslissing te komen.
• Praktische Bruikbaarheid: Als een training-vrije benadering die niet afhankelijk is van externe tools of aanvullende model fine-tuning, wordt EAGLE gepresenteerd als een lichtgewicht en inzetbare oplossing voor het verbeteren van de VQA-betrouwbaarheid.

De auteurs merken op dat hoewel de methode de transparantie en betrouwbaarheid verbetert, het de menselijke beoordeling in scenario's met een hoog belang niet vervangt, en dat toekomstig werk deze principes kan uitbreiden naar video-begrip, embodied perception en meertalige contexten.