BriMA: Bridged Modality Adaptation for Multi-Modal Continual Action Quality Assessment

Deze paper introduceert BriMA, een innovatieve aanpak voor multi-modale continue kwaliteitsbeoordeling van bewegingen die, door het gebruik van een geheugengeleide imputatiemodule en een modality-aware replay-mechanisme, de prestaties aanzienlijk verbetert onder realistische omstandigheden waarbij modale data ontbreekt of onvolledig is.

De kern

Stel je voor dat je een sportjury bent die elke dag nieuwe gymnasten beoordeelt. Je hebt drie zintuigen om je oordeel te vellen: je ogen (video), je oren (geluid) en een tekstverslag (wat de coach zegt).

Normaal gesproken werkt dit perfect. Maar in het echte leven gaan dingen vaak mis:

• Soms is de camera kapot en heb je geen beeld.
• Soms is de microfoon stil en hoor je niets.
• Soms is het verslag kwijt.

Dit noemen de onderzoekers "niet-stabiele modale onbalans". Klinkt ingewikkeld, maar het betekent simpelweg: je informatiebronnen zijn niet altijd even betrouwbaar of aanwezig.

Het probleem met de huidige kunstmatige intelligentie (AI) is dat ze hierdoor in de war raakt. Als de camera uitvalt, probeert de AI vaak te raden wat er mist, maar dat leidt tot fouten. En als de AI elke dag een nieuwe gymnast moet leren beoordelen (zonder de oude te vergeten), wordt het nog erger: ze vergeet hoe ze vroeger beoordeelden en maakt nu extra fouten omdat de "informatie" verandert.

De Oplossing: BriMA (De Slimme Jury-assistent)

De onderzoekers van de Tsinghua Universiteit hebben een nieuwe methode bedacht, genaamd BriMA. Je kunt BriMA zien als een super-slimme assistent voor de jury die twee speciale trucs heeft om met deze chaos om te gaan:

1. De "Geheugenbrug" (Memory-Guided Bridging)

Stel, je ziet een gymnast die een bal gooit, maar de camera is stuk. Je kunt het beeld niet zien.

• De oude manier: De AI zou proberen een willekeurige bal te tekenen of een leeg scherm te laten zien. Dat helpt niet.
• De BriMA-methode: BriMA kijkt in zijn geheugenboek. Hij zoekt naar eerdere gymnasten die een soortgelijke beweging maakten en waar de camera wél werkte.
  • Hij zegt: "Ah, deze gymnast doet precies hetzelfde als die ene van vorige week. Ik weet hoe die bal eruitzag."
  • In plaats van het hele beeld opnieuw te verzinnen (wat vaak fout gaat), vult hij alleen de kleine verschillen in. Hij bouwt een "brug" tussen wat hij wel ziet (het geluid) en wat hij in zijn geheugen heeft. Zo blijft de beoordeling eerlijk, zelfs zonder beeld.

2. De "Slimme Herhaling" (Modality-Aware Replay)

Stel, je moet elke dag een nieuwe gymnast leren beoordelen, maar je mag niet vergeten hoe je de vorige gymnasten beoordeelde.

• Het probleem: Als je gewoon alle oude video's opnieuw bekijkt, leer je misschien dingen die nu niet meer relevant zijn, of je besteedt te veel tijd aan oude fouten.
• De BriMA-methode: BriMA is heel selectief. Hij kijkt naar zijn oude notities en zegt: "Oké, deze oude gymnast had een rare geluidsachtergrond die nu weer terugkomt. Die moet ik nu opnieuw oefenen." Of: "Deze gymnast werd verkeerd beoordeeld toen de camera trilde; die moet ik opnieuw bekijken om mijn oordeel te corrigeren."
  • Hij kiest dus alleen de belangrijkste oude voorbeelden om te herhalen, precies op het moment dat ze nodig zijn. Dit zorgt ervoor dat de AI niet vergeet hoe ze moet scoren, zelfs als de omstandigheden veranderen.

Waarom is dit belangrijk?

Vroeger dachten onderzoekers dat AI alleen werkte als alles perfect was: perfecte video, perfect geluid, perfecte tekst. Maar in de echte wereld (bijvoorbeeld in een ziekenhuis voor revalidatie of op een sportveld) is dat zelden het geval.

BriMA is als een ervaren trainer die:

1. Niet in paniek raakt als een camera uitvalt, maar slim gebruikmaakt van zijn ervaring om het gat te dichten.
2. Weet welke oude lessen hij moet herhalen om niet te vergeten hoe hij moet oordelen.

Het resultaat?
De tests tonen aan dat BriMA veel nauwkeuriger scoort dan andere methoden, zelfs als de helft van de informatie (video, geluid of tekst) ontbreekt. Het maakt de AI robuuster en betrouwbaarder voor het echte leven, waar dingen altijd een beetje rommelig zijn.

Kortom: BriMA zorgt ervoor dat je AI-jury niet faalt als de techniek het laat afweten, maar juist slimme beslissingen blijft nemen.

Technische samenvatting

1. Probleemstelling

Het paper adresseert een kritiek probleem in Action Quality Assessment (AQA): het beoordelen van de kwaliteit van een actie (bijv. in sport of revalidatie) onder realistische, veranderende omstandigheden.

• Multi-modale AQA: Moderne modellen gebruiken vaak meerdere modaliteiten (video, audio, tekst, beweging) om nauwkeurige scores te geven.
• Niet-stationaire modale onbalans: In de praktijk zijn sensoren niet altijd betrouwbaar. Camera's kunnen beelden missen, sensoren kunnen uitvallen, of annotaties kunnen ontbreken. Dit leidt tot een situatie waarbij de beschikbaarheid van modaliteiten niet statisch is, maar varieert over de tijd (tussen verschillende taken of sessies).
• Het falen van bestaande methoden:
  • Bestaande multi-modale modellen gaan uit van volledige input en falen zodra modaliteiten ontbreken.
  • Bestaande Continual Learning (CL) methoden (die nieuwe taken leren zonder oude kennis te vergeten) gaan er ook van uit dat alle modaliteiten tijdens het trainen compleet en stabiel zijn.
  • Simpele imputatiemethoden (het invullen van ontbrekende data) verstoren de "scoring manifold" (de relatie tussen features en de uiteindelijke score), wat leidt tot onnauwkeurige beoordelingen en het vergeten van eerder geleerde taken.

Het kernprobleem is dus: hoe bouw je een systeem dat continu nieuwe taken leert, ondanks dat de inputdata (modaliteiten) voortdurend verandert en onvolledig is, zonder de nauwkeurigheid van de scores te verliezen?

2. Methodologie: BriMA

De auteurs stellen BriMA (Bridged Modality Adaptation) voor, een innovatieve aanpak die bestaat uit twee hoofdcomponenten om deze uitdagingen aan te pakken.

A. Memory-Guided Bridging Imputation (MBI)

In plaats van volledige features te synthetiseren (wat onnauwkeurig kan zijn), reconstrueert MBI ontbrekende modaliteiten door ze te "bruggen" met bestaande kennis.

• Retrieval van voorbeelden: Voor een ontbrekende modale wordt een set van $K$ exemplaren (voorbeelden) opgehaald uit een geheugenbuffer (Memory Buffer) van eerdere taken. Deze selectie gebeurt op basis van semantische gelijkenis (cosine similarity) met de huidige waargenomen data.
• Taak-specifieke conditionering: Een "task indicator" (een binaire masker) geeft aan welke modaliteiten ontbreken. Dit wordt gebruikt om een taak-specifieke embedding te genereren die het reconstructieproces stuurt.
• Residuele correctie: Het model voorspelt niet de volledige ontbrekende feature, maar alleen een minimale residuele correctie ($\Delta z$) op basis van de opgehaalde exemplaren en de huidige input.
  • Formule: $\tilde{z} = \bar{z} + \Delta z$, waarbij $\bar{z}$ de gewogen gemiddelde van de exemplaren is.
  • Dit zorgt ervoor dat de reconstructie stabiel blijft en de oorspronkelijke score-gevoelige geometrie behoudt, in plaats van ruis toe te voegen.

B. Modality-Aware Replay Optimization (MRO)

Om "catastrophic forgetting" (het vergeten van oude taken) en distributieshifts tegen te gaan, gebruikt BriMA een slimme replay-mechanisme.

• Selectie op basis van betrouwbaarheid: Niet alle opgeslagen samples zijn even waardevol. MRO selecteert samples die voldoen aan een "modality-completeness constraint" (ze moeten volledig zijn) en die representatief zijn voor de scoreverdeling (gebaseerd op quantiles).
• Prioritering: Tijdens het trainen van een nieuwe taak worden replay-samples geprioriteerd op basis van twee factoren:
  1. Modale vervorming: Hoe groot is het verschil tussen de gereconstrueerde en de echte feature?
  2. Score drift: Hoeveel verandert de voorspelde score voor een oud voorbeeld als het model wordt bijgewerkt?
• Samples met een hoge "drift" of vervorming krijgen meer aandacht tijdens het replay-proces om de stabiliteit van het model te garanderen.

3. Belangrijkste Bijdragen

1. Probleemidentificatie: De auteurs identificeren en kwantificeren het probleem van niet-stationaire modale onbalans in multi-modale continual learning voor AQA, wat een grote praktische barrière is voor bestaande systemen.
2. BriMA Architectuur: Introductie van een nieuw framework dat memory-guided bridging imputation combineert met modality-aware replay. Dit lost het dilemma op tussen het invullen van ontbrekende data en het behoud van score-nauwkeurigheid.
3. Empirische Validatie: Uitgebreide experimenten op drie grote datasets (RG, Fis-V, FS1000) tonen aan dat de methode superieur is aan state-of-the-art continual learning en multi-modale methoden.

4. Resultaten

De prestaties van BriMA zijn getest op drie datasets met verschillende modaliteitsontbrekende scenario's (10%, 25% en 50% missing data).

• Verbeterde Correlatie: BriMA bereikte een gemiddelde stijging in Spearman's Rank Correlation Coefficient (SRCC) van 6,1% tot 8,3% ten opzichte van de beste concurrenten, afhankelijk van het dataset.
• Verlaagde Fouten: De methode verlaagde de Mean Squared Error (MSE) met 12,7% tot 15,3% en de Relative Error (RL2) met 5,2% tot 13,9%.
• Robuustheid: Zelfs bij een ontbrekende modale rate van 50% behield BriMA een hoge nauwkeurigheid, terwijl andere methoden (zoals ST-MLAVL of EWC) drastisch in prestatie inzakte.
• Efficiëntie: Ondanks de extra complexiteit voor imputatie en replay, is de toename in parameters en rekentijd minimaal, wat een uitstekende afweging tussen prestatie en efficiëntie oplevert.

5. Significantie en Toekomstperspectief

Dit werk is significant omdat het een brug slaat tussen continual learning en incomplete multi-modale learning in een context waar nauwkeurigheid cruciaal is (scoring).

• Realistische toepassing: Het maakt multi-modale AQA-systemen inzetbaar in de echte wereld, waar sensoruitval en data-onvolledigheid de norm zijn in plaats van de uitzondering.
• Algemene geldigheid: De auteurs tonen in de supplementaire materialen aan dat de methode ook werkt op andere regressie-taken (zoals sentiment-analyse), wat suggereert dat het een algemeen paradigma is voor decision-critical regression onder niet-stationaire omstandigheden.
• Toekomst: Hoewel BriMA al sterk is, wordt er gewerkt aan het verbeteren van de schaalbaarheid voor zeer grote sets van modaliteiten en het modelleren van fijnmazige temporele dynamieken.

Kortom, BriMA biedt een robuuste oplossing voor het probleem van "vergeten" en "onnauwkeurige scores" in dynamische, multi-modale omgevingen, en zet een nieuwe standaard voor real-world AQA-systemen.