🤖 AI

ReasonEdit: Editing Vision-Language Models using Human Reasoning

Het artikel introduceert ReasonEdit, de eerste vision-language model editor die gebruikmaakt van door mensen gegenëerde redeneerverklaringen opgeslagen in een codeboek en die via een topologie-gebalanceerde multimodale embedding-methode worden opgehaald om state-of-the-art prestaties te behalen bij het bewerken van redeneerintensieve taken.

Oorspronkelijke auteurs: Jiaxing Qiu, Kaihua Hou, Roxana Daneshjou, Ahmed Alaa, Thomas Hartvigsen

Gepubliceerd 2026-08-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jiaxing Qiu, Kaihua Hou, Roxana Daneshjou, Ahmed Alaa, Thomas Hartvigsen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Moderne computers zijn opmerkelijk goed geworden in het tegelijkertijd zien en lezen. Deze systemen, bekend als vision-language modellen, kunnen naar een foto kijken en er vragen over beantwoorden, of een scène in woorden beschrijven. Ze worden gebruikt om artsen te helpen bij het diagnosticeren van huidaandoeningen, om studenten te helpen met hun huiswerk en om robots door de wereld te leiden. Echter, net als elk intelligent systeem, maken ze soms fouten. Wanneer dat gebeurt, is de traditionele manier om ze te herstellen het volledig opnieuw trainen van het systeem vanaf nul, een proces dat traag, duur en vaak oorzaak is van het feit dat de computer andere dingen die hij al goed kende, vergeet. Wetenschappers hebben gezocht naar een manier om kleine, precieze correcties aan te brengen zonder deze zware kosten, een studieveld dat model editing wordt genoemd. De uitdaging was dat hoewel deze systemen kunnen worden geleerd om eenvoudige feiten te corrigeren, ze moeite hebben wanneer de fout complexe redenering betreft — wanneer het antwoord afhangt van het verbinden van verschillende visuele aanwijzingen en logische stappen samen.

Een team van onderzoekers heeft een nieuwe methode ontwikkeld genaamd ReasonEdit om dit specifieke probleem op te lossen. In plaats van de computer alleen het juiste antwoord te vertellen, vraagt deze nieuwe benadering de menselijke gebruiker om uit te leggen waarom het antwoord correct is. Wanneer een gebruiker een fout opmerkt, biedt deze een keten van redeneringen aan, waarbij het denkproces wordt opgedeeld in eenvoudige, feitelijke staten. Als een computer bijvoorbeeld een muziekinstrument onjuist identificeert, kan de gebruiker uitleggen dat het instrument een ronde behuizing en een lange hals heeft, en dat deze kenmerken een specifiek type snaarinstrument definiëren. Het systeem slaat vervolgens deze verklaringen op naast het visuele bewijs, zoals een uitgesneden sectie van de afbeelding die de hals van het instrument laat zien. Door de logica achter de correctie op te slaan in plaats van alleen de correctie zelf, leert het systeem het onderliggende patroon van de fout te herkennen.

De onderzoekers testten deze methode op vier verschillende geavanceerde computermodellen met behulp van duizenden visuele vragen. Ze ontdekten dat wanneer het systeem werd toegestaan om deze opgeslagen redeneerstappen op te halen tijdens toekomstige taken, het zijn fouten met veel grotere nauwkeurigheid kon corrigeren dan eerdere methoden. Belangrijker nog, het systeem leerde te generaliseren. Het kon dezelfde logica toepassen op nieuwe afbeeldingen die er anders uitzagen, maar die dezelfde redeneerstructuur deelden. Als het systeem leerde dat een bepaald type hout stevig en flexibel is, kon het dat hout in een compleet andere foto correct identificeren, zelfs als het object zich in een nieuwe omgeving bevond. Dit vermogen om kennis te transfereren op basis van redenering, in plaats van alleen visuele gelijkenis, stelde het systeem in staat om complexe taken aan te pakken die voorheen buiten bereik waren voor dit type editing.

Een cruciaal onderdeel van dit succes was hoe de onderzoekers de informatie organiseerden. Ze ontdekten dat het simpelweg opslaan van de tekst van de redenering niet genoeg was; het systeem moest begrijpen hoe de tekst zich verhield tot de specifieke delen van de afbeelding. Om dit te bereiken, ontwikkelden ze een nieuwe manier om de relatie tussen woorden en beeldfragmenten in kaart te brengen. Ze behandelden de verbinding tussen een afbeelding en de beschrijving ervan als een netwerk, waardoor het systeem de juiste informatie snel kon vinden zonder in de war te raken door vergelijkbare maar ongerelateerde afbeeldingen of woorden. Deze zorgvuldige organisatie betekende dat wanneer de computer met een nieuwe vraag werd geconfronteerd, hij precies de redeneerstappen kon ophalen die hij nodig had, vergelijkbaar met een student die een specifieke les herinnert in plaats van alleen te gokken op basis van een vage herinnering.

De studie toonde ook aan dat deze methode efficiënt genoeg is om in real-time te worden gebruikt. Terwijl gebruikers feedback en correcties gaven, updatete het systeem zichzelf continu zonder te vertragen of enorme hoeveelheden nieuwe rekenkracht te vereisen. Het bleek robuust, zelfs wanneer de menselijke redenering licht imperfect was of extra informatie bevatte, wat suggereert dat het systeem de ruis kan filteren en zich op de kernfeiten kan concentreren. De onderzoekers hebben aangetoond dat door menselijke redenering als een waardevolle gids te behandelen, zij een systeem konden creëren dat niet alleen zijn eigen fouten corrigeerde, maar ook leerde om soortgelijke fouten in de toekomst te vermijden. Deze benadering vormt een belangrijke stap voorwaarts in het maakbaar maken van kunstmatige intelligentie die adaptiever en betrouwbaarder is, vooral in velden waar het begrijpen van het "waarom" achter een antwoord net zo belangrijk is als het antwoord zelf.

Technische Samenvatting: ReasonEdit

Probleemdefinitie

Vision-Language Models (VLM's) zijn geavanceerd in taken zoals visual question answering (VQA) en objectherkenning, maar grensverleggende taken vereisen steeds vaker complexe redeneringen waarbij tekst- en beeldkenmerken logisch met elkaar verbonden moeten worden. Ondanks verbeteringen maken uitgerolde VLM's onvermijdelijk fouten naarmate datadistributies en gebruikersbehoeften evolueren. Hoewel modelbewerking (model editing) een methode is geworden om specifieke fouten in grote vooraf getrainde modellen te corrigeren zonder catastrofale vergetelheid of dure hertraining, richten bestaande editors zich primair op Large Language Models (LLM's) of eenvoudige VLM-taken (bijv. het hernoemen van objecten).

Huidige VLM-editors slagen er niet in om redeneerintensieve taken aan te pakken waarbij fouten voortkomen uit een gebrek aan een logische verbinding tussen visuele details en domeinkennis. Bovendien laten bestaande methoden gebruikers niet toe om hun eigen menselijke redenering (een keten van feitelijke beweringen) te leveren om de correctie te sturen. Deze kloof beperkt de generalisatie van bewerkingen naar nieuwe monsters die dezelfde onderliggende redenering delen, maar verschillen in oppervlakkige visuele of tekstuele kenmerken.

Methodologie: ReasonEdit

De auteurs stellen ReasonEdit voor, de eerste redeneringsversterkte VLM-editor. In tegen tegenstelling tot methoden die gewichten bijwerken, is ReasonEdit een op retrieval gebaseerde benadering die menselijke redenering opslaat in een codeboek en relevante feiten tijdens de inferentie ophaalt om het model te sturen.

1. Redeneringsversterkte Bewerkingsopzet

Het bewerkingsproces neemt een edit-tuple $e = (i, t, y^+, r^+)$ waarbij $i$ een afbeelding is, $t$ een tekstvraag is, $y^+$ het juiste antwoord is, en $r^+$ een door de mens verstrekte keten van redeneringen bestaat uit $N_s$ feitelijke beweringen ( $s_1, \dots, s_{N_s}$ ). Het doel is om de VLM $f$ bij te werken naar $f_{new}$ zodat deze:

Het juiste antwoord geeft voor de specifieke query.
Generaliseert naar ongeziene monsters die semantische gelijkenis of dezelfde onderliggende redenering delen.
Voorspellingen op ongerelateerde inputs behoudt (lokaliteit).

2. Visuele Bewijsstuk-segmentatie (Visual Evidence Patchification)

Menselijke redenering beschrijft vaak fijnmazige visuele details die beter gevangen worden door specifieke delen van een afbeelding dan door de volledente afbeelding. ReasonEdit pakt dit aan door elke redeneringsbewering te koppelen aan visuele bewijsstukken (patches).

Gebruikersinvoer: Gebruikers kunnen handmatig beeldfragmenten (patches) bijsnijden die overeenkomen met een redeneringsbewering.
Automatische benadering: Als er geen handmatige patch wordt geleverd, identificeert het systeem relevante regio's met behulp van de VLM zelf. Het genereert kandidaat-patches op meerdere schalen, verifieert deze door de VLM de vraag te stellen "Toont de afbeelding $s_j$ ?", en scoort de relevantie met behulp van log-likelihood. Het selecteert de patch met de hoogste likelihood overall en de hoogste likelihood onder de kleinste patches om een balans te vinden tussen semantische relevantie en ruimtelijke precisie.

3. Codeboekconstructie

ReasonEdit construeert een discrete codeboek $C$ met key-value paren afgeleid van de bewerking:

Antwoord-entries: Een sleutel $K = E(i, t)$ (embedding van het beeld-tekstpaar) koppelt aan een waarde $V$ die de correcte antwoordzin bevat.
Redenerings-entries: Voor elke redeneringsbewering $s_j$ identificeert het systeem de bijbehorende visuele patches $\{i^p_j\}$ . Elk patch-feit paar vormt een entry met sleutel $K = E(i^p_j, s_j)$ en waarde $V = s_j$ .
Sleutel-fusie (Key Merging): Om codeboek-bloat te voorkomen, worden nieuwe sleutels samengevoegd met bestaande entries als hun nabijheidsradii substantieel overlappen (intersectie > 90% en centrumafstand < 10% van de radii).

4. Topologie-gebalanceerde Multimodale Embedding

Een cruciale uitdaging is het selecteren van de juiste embedding-laag voor de codeboek-sleutels. Single-layer embeddings vertonen vaak modaliteitsbias (clusteren primair op basis van beeld- of tekstgelijkenis), wat leidt tot foutieve retrievals.

Grafiek-topologieanalyse: De auteurs modelleren de embedding-ruimte als een graaf en gebruiken Newman's modulariteit ( $Q$ ) om te evalueren hoe goed het netwerk uitlijnt met gewenste partities (alleen visueel, alleen taal, of bimodaal).
Bias-metrieken: Ze definiëren Visuele Bias (overgevoeligheid voor beeldperturbaties) en Taal Bias (overgevoeligheid voor tekstperturbaties).
Duale Embedding ( $E_{dual}$ ): Om bias te mitigeren, concateneert ReasonEdit een geselecteerde visuele laag-embedding met een vooraf getrainde sentence-transformer tekst-embedding. De visuele laag wordt gekozen om de bimodaal modulariteit ( $\hat{Q}_{bi}$ ) te maximaliseren. Een weegfactor $w$ wordt geoptimaliseerd om de harmonische gemiddelde van de visuele en taal modulariteit te maximaliseren, wat zorgt voor een gebalanceerde topologie waarbij semantisch equivalente beeld-tekstparen samen clusteren, ongeacht modaliteitsverschuivingen.

5. Inferentie

Tijdens de inferentie, voor een nieuwe query $(i_{new}, t_{new})$ , berekent het systeem de embedding en haalt de $K$ dichtstbijzijnde sleutels op uit het codeboek. Als de afstand binnen een drempelwaarde valt (gebaseerd op het $p$ -de percentiel van de paarwijze afstanden), worden de opgehaalde redeneringsbeweringen als context aan de prompt toegevoegd, wat de VLM naar het juiste antwoord leidt.

Belangrijkste Bijdragen

Eerste Redeneringsversterkte Editor: Introduceert de eerste modelbewerkingsmethode voor VLM's die menselijke redenering tijdens het bewerkingsproces benut, wat correcties mogelijk maakt voor complexe, redeneerintensieve taken.
Nieuwe Vormen van Generalisatie: Demonstreert dat het gebruik van menselijke redenering twee nieuwe vormen van generalisatie mogelijk maakt:
- Rationale Generaliteit: Correct antwoord geven op vragen over tussenliggende feiten in de redeneringsketen.
- Chain-of-Error Generaliteit: Fouten corrigeren wanneer dezelfde "fout-inducerende" feiten in verschillende visuele contexten verschijnen.
Topologie-bewuste Embedding: Stelt een geprincipeerde, op netwerkwetenschap gebaseerde methode voor (met behulp van modulariteit) om multimodale embeddings te selecteren en te balanceren, waarmee het probleem van modaliteitsbias in retrieval-gebaseerde editors wordt opgelost.

Experimentele Resultaten

De auteurs evalueerden ReasonEdit op vier state-of-the-art VLM's (Qwen3-VL, InstructBLIP, LLaVA-1.5) over twee datasets (A-OKVQA, FVQA).

Prestaties: ReasonEdit behaalde state-of-the-art prestaties over alle metrieken, inclus inclusief Betrouwbaarheid (Nauwkeurigheid), Lokaliteit, Tekst/Beeld Generaliteit, en de nieuwe Rationale/Chain-of-Error generaliteiten. Het presteerde significant beter dan weight-updating baselines (FT, MEND, BalancEdit) en retrieval-gebaseerde baselines (IKE, GRACE), zelfs wanneer die baselines werden aangevuld met Chain-of-Thought (COT) inputs.
Sequentiële Bewerking: In sequentiële bewerkingsscenario's (5.000+ bewerkingen) behield ReasonEdit een stabiele betrouwbaarheid en generaliteit, terwijl weight-updating methoden leden onder catastrofale degradatie.
Efficiëntie: ReasonEdit demonstreerde een hoge computationele efficiëntie, met inferentietijden die vergelijkbaar zijn met niet-COT editors en aanzienlijk sneller dan COT-aangevulde weight-updating methoden.
Robuustheid: Het systeem bleef robuust wanneer 10–30% van de redeneringsbeweringen met ruis werd geïnjecteerd, hoewel de prestaties afnamen wanneer kernfeiten werden vervangen, wat de noodzaak van accurate redeneerdata benadrukt.
Ablatie-studies: Bevestigden dat de topologie-gebalanceerde duale embedding cruciaal is voor het bereiken van een hoge beeld- en taalgeneriteit, waarbij het superieur is aan single-layer visuele of taal embeddings.

Betekenis en Claims

Het artikel claimt dat ReasonEdit aantoont dat het integreren van menselijke redenering in het bewerkingsproces een krachtig mechanisme is voor het verbeteren van modelgeneralisatie. Door menselijke feedback niet alleen te behandelen als een correctie van een label, maar als een gestructureerde keten van feiten die gegrond zijn in visueel bewijs, kan de editor generaliseren naar monsters die dezelfde logische structuur delen, maar verschillen in oppervlakkige kenmerken.

Het werk suggereert dat het verzamelen van gebruikersfeedback in de praktijk, specifiek in de vorm van gestructureerde redenering, de modelbewerking sterk kan verbeteren. Het biedt ook inzichten in de interne representaties van VLM's, waarbij wordt aangetoond dat de keuze van de embedding-laag en de balans tussen de modaliteiten cruciaal zijn voor succesvolle retrieval-gebaseerde bewerking. De auteurs positioneren dit als een stap naar real-time, interactieve modelactualisering waarbij mensen VLM-fouten kunnen corrigeren zodra ze optreden, met name in domeinen die specifieke redenering vereisen (bijv. medische diagnose).