Technische Samenvatting: DiffuseAgent-MI

1. Probleemstelling

Tool-geïntegreerde visie-taalagenten (VLM's) hebben aanzienlijk vooruitgang geboekt in compositionele en meerstaps visuele redenering. Er blijft echter een kritiek betrouwbaarheidsprobleem bestaan: ongetrouwheid (unfaithfulness). In scenario's met hoge inzet (bijv. medische beeldvorming, interpretatie van wetenschappelijke figuren) kan een agent een numeriek correct antwoord produceren, terwijl het vermelde redeneerpad afwijkt van de interne berekeningen die het antwoord daadwerkelijk hebben gegenereerd.

Huidige benaderingen vallen over het algemeen uiteen in twee onafhankelijke silo's:

1. Mechanistische Interpreteerbaarheid: Richt zich op het identificeren van ijle feature-units (richtingen in de latente ruimte) die causale ondersteuning bieden aan voorspellingen, vaak gebruikmakend van distributionele perspectieven (bijv. KL-minimale beperkingen) om getrouwe monsters te definiëren.
2. Zelf-evoluerende Agenten: Verbeteren prestaties door outputs te reflecteren en beleid bij te werken via beloningen. Deze beloningen zijn echter doorgaans op antwerpniveau, waardoor ze geen onderscheid kunnen maken tussen een correct-maar-ongetrouwe traject en een werkelijk getrouwe één.

Het kernprobleem dat wordt aangepakt, is het gebrek aan een verenigd framework dat ervoor zorgt dat de verklaring van een agent de specifieke feature-units benoemt die de voorspelling daadwerkelijk aansturen, waardoor de kloof tussen interne representatie en externe verklaring wordt gedicht.

2. Methodologie: DiffuseAgent-MI

DiffuseAgent-MI is een zelf-evoluerende agent die een distributioneel gefundeerd energiemodel integreert met tool-geïntegreerde redenering en een verifier-repair loop. De architectuur werkt via drie synergetische componenten:

A. KL-Minimaal Energiemodel (Distributionele Gronding)

De agent gebruikt een energiemodel $E_\phi$ gedefinieerd over de feature-unit ruimte om perceptuele gronding te regelen.

• Principe: Gebaseerd op het distributionele perspectief van getrouwheid, is een getrouw monster een monster dat voldoet aan een doel-feature-unit beperking terwijl de natuurlijke prior minimaal wordt verstoord (minimaliseren van de KL-divergentie).
• Formulering:
  $$E_\phi(x; c) = -\log p_0(x) + \lambda \ell(\langle \Phi(x), c \rangle, \alpha)$$
  Waar $p_0$ de beeldprior is, $\Phi(x)$ de feature-unit activatie is, $c$ de gekozen interpreteerbare unit is, en $\ell$ een zachte beperking is.
• Functie: Het samplen uit het diffusiemodel onder $\exp(-E_\phi)$ herconditioneert generaties richting de natuurlijke prior die verankerd is op de gekozen unit $c$. Dit biedt een concreet optimalisatiedoel voor getrouwheid, waarbij wordt gewaarborgd dat het monster dicht bij de prior ligt die geconditioneerd is op de unit.

B. Tool-Geïntegreerde Zelf-evolutie met Getrouwheid-bewuste Beloning

De solver wisselt redenering af met externe tools (visuele QA, lokalisatie, captioning) en werkt zijn beleid bij via zelf-beloning.

• Beloningsstructuur: De beloningsfunctie bevat expliciet de energieterm:
  $$\pi_{t+1} = \arg \max_\pi \mathbb{E}_{z \sim A_\pi} [r(z) - \beta E_\phi(x^\star; c)]$$
  Hier is $r(z)$ de taakbeloning, en $\beta$ weegt getrouwheid af tegen antwoordnauwkeurigheid.
• Mechanisme: Door monsters te bestraffen die significant afwijken van de prior terwijl ze gebonden zijn aan een zwakke unit, wordt het beleid ontmoedigd om plausibele maar ongegronde rationales te genereren. De verbetering wordt gestuurd naar getrouw gedrag, niet alleen naar hogere nauwkeurigheid.

C. Verifier en Repair Loop (Traject-niveau Gronding)

Een verifier $V$ beoordeelt of elke stap in het redeneertraject gegrond is in de benoemde feature-units.

• Proces: De verifier geeft een getrouwheidsscore en een binaire flag $f$ uit.
• Repair-tak: Als $f$ een ongetrouwe stap aangeeft, versterkt de repair-tak de feature-unit nadruk ($c \leftarrow c + \eta \nabla_c E_\phi$) en wordt er opnieuw gesampled.
• Complementariteit: Het energiemodel garandeert distributionele getrouwheid (het monster is dicht bij de prior geconditioneerd op $c$), terwijl de verifier traject-getrouwheid garandeert (de redenering benoemt expliciet de units die daadwerkelijk zijn gebruikt).

3. Belangrijkste Bijdragen

1. Distributioneel Gefundeerde Energie: Introductie van een KL-minimaal energiemodel over feature-units dat diffusie-generaties herconditioneert, waardoor "getrouwheid" wordt omgezet van een abstract streven naar een goed gedefinieerd optimalisatieproces over waarschijnlijkheidsmaten.
2. Tool-Geïntegreerde Zelf-evolutie: Een framework waarbij de zelfverbeteringslus expliciet wordt gestuurd door een energieterm, wat ervoor zorgt dat beleidsupdates getrouw gedrag prioriteren naast antwoordcorrectheid.
3. Verifier-Plus-Repair Loop: Een mechanisme dat feedback op trajectniveau biedt. Wanneer een stap als ongetrouw wordt gemarkeerd, herconditioneert het systeem de energie en wordt er opnieuw gesampled, waardoor de loop tussen distributionele beperkingen en expliciete verificatie van redenering wordt gesloten.
4. Theoretische Complementariteit: Formeel bewijs (Theorema 3.1) dat noch het energiemodel, noch de verifier alleen voldoende is; de energie voorkomt distributieverschuiving, terwijl de verifier de gestelde redenering controleert. Alleen hun combinatie garandeert zowel distributionele als traject-getrouwheid.

4. Experimentele Resultaten

De methode werd geëvalueerd op GeoQA, SciVis, VQA-v2, en een eigen Multimodal Reasoning (MMR) set.

• Nauwkeurigheid: DiffuseAgent-MI presteerde beter dan eerdere zelf-evoluerende agenten, met een verbetering van maximaal 5,1 punten op GeoQA (83,4% vs. 78,3% voor de sterkste baseline) en 4,1 punten op MMR. De winst was het grootst bij taken die meerstaps ruimtelijke en causale redenering vereisen.
• Getrouwheid-metrieken:
  • MI-Faith (Alignment AUROC): Verbeterde van 75,4% (Agent0-VL) naar 94,7%.
  • MI-Interp (Menselijke Interpretabiliteitsovereenkomst): Verbeterde van 70,5% naar 88,9%, waarmee de interpreteerbaarheid van de ReAct-baseline meer dan verdubbel werd.
• Efficiëntie: De relatieve toename in rekenkracht ten opzichte van een gewone agent was minimaal (1,12×), aangezien de energieterm fungeert als een lichtgewicht scorecorrectie en de verifier een kleine classifier is.
• Ablatie-studies:
  • Het verwijderen van de energieterm deed de getrouwheid-metrieken instorten (MI-Faith daalde naar 71,6%), terwijl de nauwkeurigheid grotendeels intact bleef.
  • Het verwijderen van de verifier of de repair-tak degradeerde de traject-niveau gronding, wat bevestigt dat distributionele beperkingen alleen niet in staat zijn om de gestelde redenering te controleren.

5. Betekenis en Claims

Het artikel beweert dat DiffuseAgent-MI een belangrijke stap vertegenwoordigt naar betrouwbare en uitlegbare visie-agenten door mechanistische interpreteerbaarheid te verenigen met zelf-verbetering van agenten.

• Overbruggen van de Kloof: Het adresseert het "ongetrouwheid"-probleem waarbij correcte antwoorden worden afgeleid uit ongetrouwe interne processen, een cruciaal probleem in veiligheidskritische toepassingen.
• Operationalisering van Getrouwheid: Door getrouwheid te behandelen als een distributioneel optimalisatieprobleem (KL-minimale zachte beperking) in plaats van een post-hoc verklaring, biedt de methode een principiële manier om interne representaties af te stemmen op externe verklaringen.
• Complementariteit: Het werk demonstreert dat distributionele gronding (via energie) en trajectverificatie complementair zijn; de één zorgt ervoor dat het monster geldig is ten opzichte van de prior, terwijl de ander ervoor zorgt dat het redeneernarratief overeenkomt met de werkelijke berekening.

De auteurs merken beperkingen op, specifelijk dat garanties relatief zijn aan de gekozen feature-unit ruimte en de definitie van actieve units door de verifier. Als de onderliggende feature-extractor verkeerd gespecificeerd is, erven de garanties die fout. Toekomstig werk wordt gesuggereerd om dit uit te breiden naar continu geleerde, taakspecifieke units en autoregressieve generatiemodellen.