💻 computer science

Interpreting and Enhancing Emotional Circuits in Large Vision-Language Models via Cross-Modal Information Flow

Dit artikel introduceert een op stuurvectoren gebaseerd causaal attributiekader om de emotionele circuits "Adapt-Aggregate-Execute" in grote visueel-taalmodellen bloot te leggen en te versterken, waarbij een functionele ontkoppeling wordt aangetoond tussen aggregatie van visuele aanwijzingen en narratiefgeneratie die gerichte interventies tijdens de inferentie mogelijk maakt om emotioneel redeneren aanzienlijk te verbeteren en hallucinaties te verminderen.

Oorspronkelijke auteurs: Chengsheng Zhang, Chenghao Sun, Zhining Xie, Xinmei Tian

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chengsheng Zhang, Chenghao Sun, Zhining Xie, Xinmei Tian

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Vision-Language Model (LVLM) voor als een uiterst bekwaam, maar soms verward kunstkriticus. Je toont hem een foto van een huilende persoon en vraagt: "Wat gebeurt hier?" Idealiter zou hij moeten zeggen: "Deze persoon is verdrietig." Maar soms krijgen deze modellen het verkeerd, en beschrijven ze een verdrietig gezicht met overtuiging als "vrolijk" of "opgewonden". Dit wordt een "emotionele hallucinatie" genoemd.

Dit artikel fungeert als een monteur die de motorkap opent van dat kunstkriticus-brein om precies te zien hoe het gevoelens verwerkt, en vervolgens de bedrading repareert zodat het het goed doet.

Hier is de uiteenzetting van hun ontdekking en oplossing, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Black Box" van Gevoelens

Vroeger wisten we dat deze modellen emotietaken konden uitvoeren, maar we wisten niet hoe. Het was alsof je weet dat een auto rijdt, maar niet weet welk onderdeel van de motor ervoor zorgt dat hij beweegt. De onderzoekers wilden de specifieke "emotionele circuits" binnen het brein van de AI vinden.

2. De Ontdekking: De "Adapt-Aggregate-Execute"-Fabriek

De onderzoekers ontdekten dat de AI een afbeelding niet in één keer "voelt". In plaats daarvan verwerkt het emoties via een drie-traps assemblagelijn, vergelijkbaar met een fabriek die een op maat gemaakte taart maakt:

Fase 1: Adaptatie (De Ruwe Ingrediënten)
- Wat er gebeurt: De AI kijkt naar de ruwe pixels van de afbeelding (het meel, de eieren en de suiker).
- De Analogie: Dit is als het bezorgvoertuig dat ingrediënten naar de keuken brengt. De AI bereidt de visuele data voor om begrepen te worden, maar heeft nog niet besloten welk soort taart hij gaat maken.
Fase 2: Aggregatie (De Mengkom)
- Wat er gebeurt: Dit is het meest kritieke deel. De AI neemt die visuele aanwijzingen en begint ze te mengen tot een specifieke "smaak".
- De Ontdekking: De onderzoekers ontdekten dat in de middelste lagen van de AI speciale "mengkommen" (zogenaamde attention heads) zitten die specifiek zijn voor bepaalde emoties. Eén kom is voor "verdriet", een andere voor "woede". Ze nemen de visuele aanwijzingen en zeggen: "Oké, dit is zeker een verdrietig verhaal."
- De Analogie: Dit is waar de bakker het besproeit proeft en beslist: "Dit heeft meer chocolade nodig." De AI kristalliseert het abstracte gevoel om tot een concreet concept.
Fase 3: Executie (Het Bakken en Versieren)
- Wat er gebeurt: Nu de AI de "smaak" (verdriet) kent, begint hij het verhaal te schrijven.
- De Ontdekking: In de diepe lagen (het einde van het proces) schakelt de AI over. Hij stopt met het gebruik van de specifieke "verdriet"-kom en begint een universele oven te gebruiken die werkt voor elke emotie. Hij neemt het concept "verdriet" en bakt het om in zinnen als "Ik voelde een zwaar hart".
- De Analogie: De bakker plaatst nu de verdrietige taart in de oven en schrijft het etiket op het doosje. Het specifieke "verdriet"-besluit is genomen; nu gaat het alleen nog om het uitvoeren van het eindproduct.

3. De Doorbraak: "Functionele Decoupling"

Het belangrijkste wat ze vonden, is dat de AI het beslissen over wat de emotie is, scheidt van het zeggen van de emotie.

Middelste Lagen: Gespecialiseerde chefs die alleen weten hoe ze "verdrietige" of "boze" gerechten moeten maken.
Diepe Lagen: Een algemeen manager die welk gerecht dan ook, zodra het klaar is, aan de klant serveert.

4. De Oplossing: VEENA (De "Chirurgische Reparatie")

In plaats van de hele AI opnieuw te trainen (wat duur en traag is), creëerden de onderzoekers een tool genaamd VEENA. Denk aan VEENA als een "afstandsbediening" voor het brein van de AI die je gebruikt terwijl het denkt.

Visual Emotion Enhancement (VEE): Dit deel zet het volume hoger op het signaal dat uit de afbeelding komt. Het is alsof je een schijnwerper richt op de "verdriet"-ingrediënten in de mengkom, zodat de AI ze niet mist.
Emotional Neuron Augmentation (ENA): Dit deel zet het volume hoger op de neuronen die daadwerkelijk de woorden schrijven. Het is alsof je de bakker een beetje extra energie geeft om ervoor te zorgen dat het "verdriet"-etiket duidelijk en krachtdadig wordt geschreven.

5. Het Resultaat

Toen ze deze "afstandsbediening" testten op een enorme benchmark (MER-UniBench), werd de AI veel beter in het correct beschrijven van emoties.

Minder Hallucinaties: Hij noemde verdrietige gezichten niet langer "gelukkig".
Geen Extra Kosten: Omdat ze alleen de bestaande bedrading aanpasten in plaats van de motor te herbouwen, werd de AI niet trager.
Bewijs van Concept: Het feit dat het hoger zetten van deze specifieke "knoppen" het probleem oploste, bewees dat ze de emotionele circuits correct hadden geïdentificeerd.

Kortom: Het artikel vond dat AI emoties in drie stappen verwerkt (Zien -> Beslissen -> Spreken). Ze ontdekten dat de stap "Beslissen" in het midden van het brein plaatsvindt met behulp van speciale onderdelen, en dat de stap "Spreken" aan het einde plaatsvindt met behulp van algemene onderdelen. Ze bouwden een tool om het signaal in deze specifieke onderdelen te versterken, waardoor de AI veel empathischer en accurater wordt zonder dat hij vanaf nul opnieuw getraind hoeft te worden.

Technische Samenvatting: Interpretatie en Versterking van Emotionele Circuits in Grote Visueel-Taalmodellen via Cross-Modale Informatiestroom

1. Probleemstelling

Grote Visueel-Taalmodellen (LVLM's) evolueren tot empathische agenten, maar blijven vatbaar voor emotionele hallucinaties. In tegenstelling tot object-hallucinaties, die leiden tot feitelijke fouten, betreffen emotionele hallucinaties het genereren van taalkundig coherente verhalen die in strijd zijn met het affectieve gehalte van visuele prikkels (bijvoorbeeld het beschrijven van een huilend gezicht als uitdrukking van vreugde). Deze misalignatie riskeert het schenden van sociale normen en ethische grenzen.

Huidige oplossingen vertrouwen op black-box, datagedreven optimalisatietechnieken (zoals instructietuning en versterkend leren) die behavioristische fijnafstemming nabootsen zonder interne alignatie te garanderen. Bovendien richt mechanistische interpreteerbaarheidsresearch in LVLM's zich voornamelijk op objectperceptie, waardoor de interne emotionele circuits onbestudeerd blijven. Het overbruggen van deze kloof wordt gehinderd door twee hoofduitdagingen:

Afwezigheid van Contravoorbeeld Visuele Benchmarks: In tegenstelling tot tekst is het moeilijk om emotionele attributen in afbeeldingen te isoleren zonder het narratieve inhoud of visuele semantiek te veranderen.
Ondoeltreffendheid van Discrete Metrieken: Emotionele expressie is diffuus en holistisch, en manifesteert zich via de toon van langere generaties in plaats van via enkele tokens, waardoor standaard Next-Token-Prediction-metrieken ontoereikend zijn.

2. Methodologie

De auteurs stellen een Stuurvector-gebaseerd Causaliteitsattributiekader voor dat is toegespitst op beschrijvende emotionele redenering, gevolgd door een trainingsvrije interventiestrategie.

A. Extractie van Emotionele Richtingen

Om het gebrek aan visuele contravoorbeelden te overwinnen, construeren de auteurs een gespecialiseerde dataset met strikt gekoppelde emotionele en neutrale contrasten.

Proces: Voor een emotionele afbeelding $I_{emo}$ gebruiken ze generatieve AI (Google Nano Banana) om een neutraal tegenhanger $I_{neu}$ te creëren die identiteit, compositie en stijl behoudt, maar emotionele indicatoren verwijdert (bijvoorbeeld het neutraliseren van gezichtsuitdrukkingen of het verwijderen van tranen).
Stuurvectoren: Ze berekenen het verschil in verborgen-staatactivaties tussen de emotionele en neutrale invoer om globale stuurvectoren ( $S_l$ ) voor specifieke emoties (bijvoorbeeld verdriet, woede) te extraheren.

B. Ontdekking van Emotionele Circuits

Met behulp van een hiërarchische ontdekkingsstrategie traceerden de auteurs de cross-modale stroom van emotie:

Lagenidentificatie: Ze injecteren de geëxtraheerde emotionele richtingen in lagen tijdens inferentie om kritieke lagen te identificeren waar de gedragsimpact (verandering in hit-rate) maximaal is.
Locatie van Hoofden: Ze maken gebruik van Latente Herstelmetrieken gebaseerd op activatiepatching om specifieke attention-heads te lokaliseren die overeenkomen met de emotionele richting.
NeuronenTrace: Ze traceren recursief de informatiestroom van kritieke hoofden terug naar upstream MLP-neuronen met behulp van Attribution Patching om de granulaire oorsprong van emotionele kenmerken te identificeren.

C. Het "Adapt-Aggregate-Execute"-Mechanisme

Via deze analyse onthult het artikel een distinct drie-fasenmechanisme:

Adaptatie (Ondiepe Lagen): Visuele kenmerken ondergaan modale alignatie om de semantische kloof tussen pixels en tekst te overbruggen.
Aggregatie (Middenlagen): Het model activeert Contextuele Trigger-Neuronen en aggregeert signalen naar het Query-token via sentiment-specifieke attention-heads. Deze hoofden zijn selectief actief voor distincte emotiecategorieën (bijvoorbeeld specifieke hoofden voor negatieve sentimenten).
Uitvoering (Diepe Lagen): Het Query-token activeert Expliciete State-Neuronen en stuurt de narratieve generatie aan via emotie-generieke paden die universeel functioneren over verschillende emoties heen.

D. VEENA Interventie

Op basis van deze inzichten introduceren de auteurs VEENA (Visual Emotion Enhancement and Emotional Neuron Augmentation), een chirurgische, trainingsvrije interventie tijdens inferentie:

Visual Emotion Enhancement (VEE): Reguleert informatierouting door attention-weights te schalen. Het versterkt $V \to Q$ (Visueel naar Query) attention in upstream lagen om aggregatie te faciliteren en $V \to L$ (Visueel naar Laatste Token) attention in downstream lagen om te garanderen dat de uitvoering geworteld blijft in visuele details.
Emotional Neuron Augmentation (ENA): Versterkt de activatieniveaus van geïdentificeerde, emotie-saliente MLP-neuronen om de semantische expressie te consolideren.

3. Belangrijkste Resultaten

Uitgebreide experimenten werden uitgevoerd op MER-UniBench, een uitgebreide benchmark die Basis Emotieherkenning, Sentimentanalyse en Gedetailleerde Emotieherkenning omvat.

Prestatieverbetering: VEENA verbetert de prestaties significant over alle 9 datasets in MER-UniBench, waarbij de gemiddelde hit-rate stijgt van 58,1% naar 64,8% (+6,7%). Op de uitdagende open-vocabulaire taak (OV-MERD+) wordt een winst van +9,2% behaald.
Synergie: De combinatie van VEE en ENA presteert beter dan het gebruik van elk onderdeel apart, wat de synergie bevestigt van het reguleren van zowel informatierouting als semantische activatie.
Causale Fideliteit: Ablatiestudies tonen aan dat willekeurige interventies deze winsten niet reproduceren, terwijl het richten op de specifieke geïdentificeerde circuits (Top-10 hoofden en Top-30 neuron) state-of-the-art resultaten oplevert met minimale latentie.
Generalisatie: De methode werd gevalideerd op verschillende modelarchitecturen (Qwen3-VL-4B/8B, LLaVA-OneVision-1.5-4B), wat aantoont dat het "Adapt-Aggregate-Execute"-mechanisme inherent is aan LVLM's.
Veiligheid: Evaluaties op algemene benchmarks (POPE, CHAIR, MME) geven aan dat VEENA geen catastrofaal vergeten of universele hallucinaties induceert, waardoor algemene visueel-taalcapaciteiten behouden blijven terwijl specifiek op emotionele sub-netwerken wordt ingezet.

4. Betekenis en Claims

Het artikel claimt het eerste te zijn dat:

Emotionele Circuits Lokaliseert: Een nauwkeurig, vector-gebaseerd attributiekader biedt dat de beperkingen van discrete metrieken overstijgt om emotionele circuits in LVLM's te lokaliseren.
Mechanismen Ontmaskert: De functionele ontkoppeling blootlegt tussen sentiment-specifieke aggregatie (middenlagen) en universele uitvoering (diepe lagen), wat de notie uitdaagt dat emotionele verwerking een monolithisch blok is.
Chirurgische Interventie mogelijk maakt: Aantoont dat trainingsvrije, inferentie-tijd interventies gebaseerd op mechanistisch begrip emotionele hallucinaties effectief kunnen mitigeren zonder hertraining, en zo een meer interpreteerbaar en betrouwbaar alternatief bieden voor black-box fijnafstemming.

De auteurs benadrukken dat hun werk zich strikt richt op het verhelderen van interne paden om betrouwbaarheid en veiligheid te verbeteren, zodat modelresponsen visuele realiteit nauwkeurig weerspiegelen in plaats van misleidende emotionele inhoud te genereren.