Technische Samenvatting: Verborgen Vergeten in Continual Multimodal Learning

Probleemstelling

Multimodale Large Language Models (MLLM's) moeten zich continu aanpassen aan evoluerende taken en domeinen, zoals nieuwe visuele formaten, instructies en redeneervaardigheden. Hoewel standaard continual learning (CL) metrieken zich richten op de vraag of oude antwoorden nog steeds correct zijn, negeren ze grotendeels de stabiliteit van multimodale gronding (grounding).

Het artikel identificeert een specifieke foutmodus die wordt aangeduid als Hidden Evidence-Use Forgetting (Verborgen Vergeten van Bewijsvoering). In dit scenario behoudt een MLLM een hoge nauwkeurigheid op voorgaande taken, maar verschuift het stilletjes de afhankelijkheid van gegronde bewijskanalen (bijv. visuele regio's, OCR-tokens, grafiekelementen, documenttekst) naar minder gegronde shortcuts (bijv. taalprioriteiten of dataset-biases). Standaard evaluatie op antwerpniveau faalt in het detecteren van deze drift, wat een vals gevoel van stabiliteit creëert terwijl het redeneerproces van het model minder getrouw (faithful) wordt.

Methodologie: Reliance-Constrained Continual Learning (RCL)

Om dit aan te pakken, stellen de auteurs RCL voor, een replay-vrij continual learning framework dat niet alleen bewaart wat het model antwoordt, maar ook hoe het bewijs gebruikt.

Kernmechanisme

RCL werkt door het vorige checkpoint te bevriezen als een gedragsreferentie ("teacher") en het huidige model ("student") te dwingen om het bewijs-afhankelijkheidsprofiel van de teacher tijdens de adaptatie te behouden.

1. Counterfactual Channel Interventions (Contrafactische Kanaalinterventies):

   • Voor elke input construeert RCL contrafactische voorbeelden door specifiek bepaalde bewijskanalen te onderdrukken (bijv. het maskeren van visuele regio's, het verwijderen van OCR-tokens of het verbergen van grafiekelementen).
   • De gevoeligheid van het model voor deze onderdrukkingen wordt gemeten aan de hand van de toename in loss of de verschuiving in de outputdistributie.
   • Deze gevoelijkheden worden genormaliseerd tot een reliance vector $r_\theta(x, y)$, die de waarschijnlijkheidsverdeling representeert over welke bewijskanalen het model afhankelijk is voor een specifieke sample.

2. Reliance Preservation Objective (Doelstelling voor Behoud van Afhankelijkheid):

   • Het framework optimaliseert gezamenlijk drie doelstellingen:
     • Task Learning ($L_{task}$): Standaard cross-entropy loss voor de huidige fase.
     • Prediction Preservation ($L_{pred}$): Token-level distillatie om ervoor te zorgen dat het huidige model dezelfde antwoorden geeft als het vorige model.
     • Reliance Preservation ($L_{rel}$): Een loss-term die de Jensen–Shannon Divergentie (JSD) minimaliseert tussen de reliance vector van de teacher en de reliance vector van de student.
   • Een confidence gate weegt de reliance loss, waarbij samples waarbij de teacher onzekere voorspellingen doet of waar de teacher geen meetbare afhankelijkheid van specifieke kanalen vertoont, worden lager gewogen om de propagatie van ruisgevoelige targets te voorkomen.

3. Implementatiedetails:

   • RCL is replay-vrij: Het slaat geen voorgaande multimodale voorbeelden op.
   • Het maakt gebruik van Parameter-Efficient Fine-Tuning (PEFT) (bijv. LoRA), waarbij de backbone bevroren blijft en alleen de adapterparameters worden bijgewerkt.
   • Geen Inference Overhead: Contrafactische interventies en de schatting van de reliance vinden alleen plaats tijdens de training en evaluatie. Het ingezette model heeft dezelfde architectuur en latentie als een standaard PEFT-geadapteerd MLLM.

Belangrijkste Bijdragen

1. Formalisering van Hidden Evidence-Use Forgetting: De auteurs definiëren en kwantificeren een foutmodus waarbij de antwoordnauwkeurigheid behouden blijft terwijl het onderliggende bewijspad afwijkt. Ze introduceren metrieken zoals Modality Reliance Drift (MRD), Dominant Evidence Flip Rate (DEF) en Hidden Forgetting Rate (HFR) om dit fenomeen te diagnosticeren.
2. RCL Framework: Een nieuw, replay-vrij framework dat de drift in bewijsgebruik beperkt via contrafactische kanaalinterventies zonder de kosten tijdens de inferentie te verhogen.
3. Empirische Validatie: Het artikel toont aan dat het behouden van reliance-profielen zowel de retentie van antwoorden als de grondingsstabiliteit verbetert, wat een robuustere definitie van continual multimodal learning biedt dan enkel antwoordnauwkeurigheid.

Experimentele Resultaten

De auteurs evalueerden RCL op vier benchmarks: CoIN, COAST, MCITlib en een aangepaste evidence-sensitive multimodal stream (bevat VQA, OCR, grafieken en documenten) met backbones zoals LLaVA-1.5-7B/13B en InternVL-Chat-7B.

• Prestaties vs. Vergeten: RCL presteerde consequent beter dan replay-vrije baselines (bijv. Seq-LoRA, EWC, LwF) en recente multimodale CL-methoden (bijv. HiDe-LLaVA, BranchLoRA, SEFE) in termen van de uiteindelijke gemiddelde nauwkeurigheid, terwijl het het gemiddelde vergeten aanzienlijk verminderde.
• Grondingsstabiliteit:
  • RCL verminderde de Modality Reliance Drift (MRD) met ongeveer 50% vergeleken met sterke baselines (bijv. van ~0,23 naar ~0,10).
  • Het verlaagde de Dominant Evidence Flip Rate (DEF) drastisch, met name voor gestructureerde bewijsvoering zoals OCR, grafieken en documenten.
  • De Hidden Forgetting Rate (HFR) werd verminderd van ~65% (in baselines zoals Answer-KD) naar ~11% met RCL.
• Kostenefficiëntie: Ondanks de kosten tijdens de training door contrafactische interventies, bereikte RCL een bijna Pareto-optimale prestatie, waarbij het substantiële winst in grondingsstabiliteit bood met slechts een bescheiden toename in trainingsrekenkracht (ongeveer 1,56x de kosten van sequentiële LoRA).

Betekenis en Claims

Het artikel betoogt dat robuust continual multimodal learning vereist dat het bewijspad achter correcte antwoorden wordt behouden, en niet enkel de antwoorden zelf.

• Voorbij Nauwkeurigheid: De auteurs stellen dat standaard antwoordgerichte evaluatie onvoldoende is voor veiligheidsgevoelige en langdurig gebruikte toepassingen, omdat het de drift van een model naar shortcut-gebaseerd redeneren kan maskeren.
• Replay-Vrije Efficiëntie: RCL laat zien dat hoogwaardig behoud van afhankelijkheid (reliance preservation) haalbaar is zonder het opslaan van oude data of het veroorzaken van extra kosten tijdens de inferentie, wat het geschikt maakt voor real-world implementaties.
• Generaliseerbaarheid: De methode blijkt effectief over verschillende modelgroottes en architecturen, wat suggereert dat de stabiliteit van bewijsgebruik een fundamentele vereiste is voor betrouwbare adaptatie van MLLM's.

De auteurs concluderen dat toekomstige continual learning-systemen niet alleen beoordeeld moeten worden op wat ze antwoorden, maar ook op hoe ze multimodale bewijsvoering gebruiken om tot die antwoorden te komen.