SchröMind: Mitigating Hallucinations in Multimodal Large Language Models via Solving the Schrödinger Bridge Problem

Technische Samenvatting: Schr¨oMind

1. Het Probleem: Hallucinaties in MLLM's

Multimodale Large Language Models (MLLM's), zoals LLaVA en Qwen-VL, zijn zeer bekwaam in het combineren van visuele en tekstuele informatie. Een hardnekkig probleem is echter object-hallucinatie: het fenomeen waarbij het model tekstuele beschrijvingen genereert die in strijd zijn met de visuele input (bijv. een object benoemen dat niet in de afbeelding staat).

De auteurs stellen dat dit probleem voortkomt uit het feit dat MLLM's de afbeelding wel begrijpen, maar moeite hebben met het genereren van de juiste token-sequenties. Kleine verstoringen in de aandacht (attention) kunnen het model van een waarheidsgetrouwe naar een hallucinerende staat sturen. Bestaande oplossingen (zoals fine-tuning) zijn rekenintensief, terwijl huidige interventies tijdens de inferentie vaak een uniforme correctie toepassen op alle tokens, wat de nuance en vloeiendheid van de taal kan schaden.

2. Methodologie: Het Schr¨odinger Bridge Probleem (SBP)

De kern van Schr¨oMind is een nieuw framework dat hallucinatie-reductie benadert als een optimalisatieprobleem van transport tussen twee verdelingen.

• Manifold Mapping: In plaats van een algemene correctie, modelleert Schr¨oMind de "hallucinatie-manifold" (de verdeling van foutieve activaties) en de "waarheidsgetrouwe manifold" (de verdeling van correcte activaties).
• Schr¨odinger Bridge Problem (SBP) & EOT: Het framework gebruikt het Schr¨odinger Bridge Problem en Entropy-Regularized Optimal Transport (EOT) om de meest efficiënte (minimale kosten) overgang tussen deze twee verdelingen te vinden. Dit zorgt voor een "gepersonaliseerde" interventie per token.
• Dynamische Interventie: Het model leert een drift-functie ($g^*$) die de activaties van de Transformer-lagen geleidelijk en vloeiend stuurt van de foutieve staat naar de correcte staat. Dit gebeurt via een diffusieproces, wat de semantische coherentie behoudt.
• Twee-fasen Pipeline:
  1. Identificatie: Er worden logistische regressie-classifiers getraind om de specifieke attention heads te identificeren die het meest gevoelig zijn voor hallucinaties.
  2. Correctie: Voor de geselecteerde heads wordt de SBP-oplossing toegepast om de activaties tijdens de inferentie te sturen. Dit kan op twee niveaus: image-level (gehele afbeelding) en object-level (specifieke objecten).

3. Belangrijkste Bijdragen

1. Gepersonaliseerde Interventie: De eerste methode die niet werkt met een uniforme vector, maar met token-specifieke correcties via optimal transport.
2. Efficiëntie: Het framework vereist slechts enkele minuten training en kan als een "plug-and-play" oplossing worden ingezet zonder de parameters van het basismodel aan te passen.
3. Wiskundige Integratie: Het is de eerste toepassing van het Schr¨odinger Bridge-concept voor token-niveau interventies in MLLM's.

4. Resultaten

De effectiviteit van Schr¨oMind is aangetoond op uitgebreide benchmarks:

• POPE Benchmark: Op de POPE-test (die specifiek object-hallucinaties meet) presteert Schr¨oMind superieur aan de huidige State-of-the-Art (SOTA), zoals ICT. Het laat met name grote verbeteringen zien bij "adversarial" vragen (moeilijke vragen die ontworpen zijn om het model te misleiden).
• MME Benchmark: In de holistische MME-evaluatie (die perceptie en cognitie meet) behaalt Schr¨oMind de hoogste scores voor zowel LLaVA-1.5-7B als Qwen2.5-VL-7B. Het model blinkt uit in taken zoals het herkennen van posities, kleuren en het tellen van objecten.
• Ablatie-studies: De resultaten bevestigen dat de combinatie van zowel image-level als object-level interventies noodzakelijk is voor een robuuste prestatie.

5. Betekenis en Conclusie

Schr¨oMind biedt een elegante oplossing voor een kritiek probleem in AI-veiligheid. Door hallucinaties te behandelen als een verdeling-verschuiving die via optimale transportpaden kan worden gecorrigeerd, slaagt het erin de betrouwbaarheid van MLLM's drastisch te verhogen zonder de oorspronkelijke taalvaardigheid of rekenkracht van het model op te offeren. Dit maakt de inzet van MLLM's in kritieke sectoren, zoals de gezondheidszorg of autonoom rijden, veiliger en haalbaarder.