BRAIN: Bias-Mitigation Continual Learning Approach to Vision-Brain Understanding

Titel: BRAIN: Een Benadering voor Voortdurend Leren met Bias-Mitigatie voor Visueel-Brain Begrip

1. Het Probleem: Bias door Geheugenverval

De kern van dit onderzoek ligt in een vaak over het hoofd gezien probleem bij het decoderen van hersensignalen (zoals fMRI) voor visuele reconstructie: de inconsistentie van hersensignalen door tijd.

• Geheugenverval: Menselijk geheugen vervaagt na verloop van tijd. Wanneer proefpersonen in een experiment (zoals de Natural Scenes Dataset - NSD) herhaaldelijk blootgesteld worden aan visuele prikkels over meerdere sessies (maanden of jaren), neemt hun vermogen om eerder geziene beelden te onthouden af.
• Bias in Signalen: Dit leidt tot een afname in de zekerheid en de visuele context in de opgenomen fMRI-signalen in latere sessies. De verdeling van de data ($p_t(x)$) verschuift dus over de tijd.
• Impact op Modellen: Bestaande Vision-Brain Understanding (VBU) modellen behandelen alle datapunten als gelijkwaardig en trainen vaak op alle data tegelijk. Hierdoor leren ze niet effectief van de latere, "onzekere" sessies, wat leidt tot prestatieverlies en een opeenstapeling van bias. Het model lijdt bovendien onder catastrophical forgetting (catastrofaal vergeten) wanneer het geleidelijk nieuwe data leert zonder de oude kennis te behouden.

2. Methodologie: De BRAIN-benadering

De auteurs stellen een nieuw Continual Learning (CL) framework voor, genaamd BRAIN, dat specifiek is ontworpen om deze verschuivingen in de data-distributie aan te pakken. Het framework bestaat uit twee hoofdcomponenten:

A. De-bias Contrastive Learning (DCL)
Om de bias veroorzaakt door het afnemende vertrouwen van proefpersonen te mitigeren, wordt een nieuwe verliesfunctie voorgesteld.

• Concept: In plaats van alle signalen gelijk te wegen, wordt een bias-factor ($w_t$) geïntroduceerd die afhankelijk is van de responsnauwkeurigheid ($r(t)$) van de proefpersoon in die specifieke sessie.
• Implementatie: De verliesfunctie wordt gewogen met $w_t = e^{1-r(t)}$. Als een proefpersoon onzeker is (lage nauwkeurigheid), krijgt het signaal een lagere weging, waardoor het model minder gevoelig wordt voor de ruis en inconsistentie in latere sessies. Dit corrigeert de onbalans in de data-distributie.

B. Angular-based Forgetting Mitigation (AFM)
Om catastrofaal vergeten te voorkomen zonder de flexibiliteit van het model te beperken, wordt een nieuwe vorm van kennisdistillatie gebruikt.

• Probleem met bestaande methoden: Traditionele methoden gebruiken vaak de Euclidische afstand ($L_2$) om te voorkomen dat de gewichten te veel veranderen. Dit kan echter te strikt zijn en de aanpassing aan nieuwe data belemmeren, of juist te gevoelig zijn voor schaalveranderingen.
• Oplossing: De auteurs introduceren een hoekgebaseerde (angular) metriek. In plaats van de grootte (magnitude) van de features te vergelijken, wordt de richting van de feature-vectoren behouden.
• Voordeel: Dit is robuuster tegen ruis en schaalvariaties. Het zorgt ervoor dat de modelkennis behouden blijft in termen van de relatieve oriëntatie van de features, wat essentieel is voor taken zoals beeldherstel uit hersensignalen.

Totale Doelfunctie:
De totale loss functie combineert de DCL (voor bias-mitigatie) en de AFM (voor vergeten-mitigatie):
$$\mathcal{L} = \mathcal{L}_{DCL} + \lambda_{CL} \mathcal{L}_{AFM}$$

3. Belangrijkste Bijdragen

1. Eerste analyse van bias: Het paper is een van de eerste studies die statistisch en experimenteel aantoont dat hersensignalen door geheugenverval een systematische bias vertonen die de prestaties van VBU-modellen degradeert.
2. Nieuwe CL-architectuur: Introductie van een specifiek continual learning framework voor visueel-brain begrip dat adaptief omgaat met niet-stationaire data.
3. Nieuwe Loss-functies:
   • DCL: Een verliesfunctie die de bias in de data-distributie expliciet modelleert en corrigeert op basis van proefpersoon-nauwkeurigheid.
   • AFM: Een nieuwe methode voor kennisdistillatie die hoekafstanden gebruikt in plaats van Euclidische afstanden, wat beter presteert bij het behouden van kennis in deze specifieke domein.
4. State-of-the-Art Resultaten: Het framework presteert beter dan bestaande methoden (zoals LwF en PLOP) en niet-continual learning benaderingen.

4. Resultaten

De methoden zijn getest op de Natural Scenes Dataset (NSD), een grote dataset met fMRI-data van meerdere proefpersonen over vele sessies.

• Benchmarks: Er zijn verschillende continual learning setups getest (bijv. trainen op 20 sessies, dan 2, 5 of 10 sessies per stap).
• Prestaties:
  • Zonder continual learning (W/o CL) daalt de prestatie drastisch (bijv. van ~61% naar ~18% in sommige scenario's) door vergeten.
  • Bestaande CL-methoden (LwF, PLOP) verbeteren dit, maar blijven achter.
  • BRAIN behaalt de State-of-the-Art (SOTA) prestaties. In de "Brain-to-Image" retrieval task scoort BRAIN 59.74% in de (20, 5) setup, vergeleken met 54.44% voor PLOP en 52.56% voor W/o CL.
  • Ook in de "Image-to-Brain" taak wordt een significante verbetering geboekt.
• Ablatie-studies: De studies bevestigen dat zowel de DCL (bias-correctie) als de AFM (hoekgebaseerd vergeten) essentieel zijn voor de uiteindelijke prestatie. Het gebruik van hoekmetriek (AFM) bleek superieur aan $L_2$-regularisatie.

5. Betekenis en Conclusie

Dit paper is significant omdat het een fundamenteel probleem in het veld van neurocomputing aanpakt dat tot nu toe grotendeels was genegeerd: de dynamische aard van menselijke hersensignalen door tijd en geheugenverval.

• Biologisch plausibiliteit: De aanpak sluit beter aan bij hoe het menselijk brein werkt (incrementeel leren en aanpassen) dan statische training op grote datasets.
• Praktische toepassing: Het maakt het mogelijk om modellen te updaten naarmate nieuwe data wordt verzameld, zonder dat er jarenlang gewacht hoeft te worden op een volledige dataset, en zonder dat de prestaties in de loop der tijd instorten.
• Toekomst: De methoden (DCL en AFM) kunnen potentieel worden toegepast op andere domeinen waar data-distributies over tijd verschuiven (non-stationaire data).

Samenvattend introduceert BRAIN een robuust framework dat de beperkingen van bestaande Vision-Brain modellen doorbreekt door expliciet rekening te houden met de tijdsafhankelijke onzekerheid in hersensignalen en door slimme continual learning technieken toe te passen.