LIMSSR: LLM-Driven Sequence-to-Score Reasoning under Training-Time Incomplete Multimodal Observations

1. Probleemdefinitie

Het artikel adresseert een kritieke kloof in Incomplete Multimodaal Leren (IML): de afhankelijkheid van de onrealistische aanname dat volledige data (alle modaliteiten aanwezig) beschikbaar is tijdens de trainingsfase.

• De Realiteitskloof: In realistische scenario's (bijvoorbeeld sensorstoringen, privacybeperkingen, data-corruptie) lijdt trainingsdata vaak aan systematisch ontbreken. Bestaande methoden gebruiken doorgaans "God's oog" training (volledige data) om reconstructiedoelen te genereren of priors te distilleren, wat faalt wanneer volledige data tijdens het trainen niet beschikbaar is.
• De Uitdaging: De auteurs definiëren het probleem van Trainingstijds Onvolledige Observaties, waarbij het model robuuste representaties moet leren met behulp van slechts gedeeltelijke modaliteiten ($X_{obs}$) en een ontbrekendheidsmasker ($m$) tijdens zowel training als inferentie, zonder toegang tot grondwaarheid-volledige data voor reconstructie of distillatie.
• Doeltaak: Het kader wordt geïnstancierd voor Actiekwaliteitsbeoordeling (AQA), een taak die langdurig temporaal begrip en fijnkorrelige semantische analyse vereist (bijvoorbeeld sportscoring, medische evaluatie), waarbij ontbrekende modaliteiten (RGB, Audio, Optische Stroom) veelvoorkomend zijn.

2. Methodologie: LIMSSR Kader

De auteurs stellen LIMSSR (LLM-Driven Incomplete Multimodal Sequence-to-Score Reasoning) voor, wat IML herformuleert als een conditionele sequentie-resoniettaak in plaats van een reconstructietaak. Het maakt gebruik van de wereldkennis en redeneercapaciteiten van Large Language Models (LLM's).

Het kader bestaat uit drie kernfasen (geïllustreerd in Figuur 2):

A. Prompt-Gestuurde Contextbewuste Modale Imputatie (PCMI)

In plaats van ontbrekende data met nul-padded te vullen, behandelt LIMSSR ontbrekendheid als een variabele die moet worden afgeleid.

• Tokenisatie: Beschikbare modaliteiten worden omgezet in token-sequenties met speciale grenstokens (bijvoorbeeld <visual_start>, <visual_end>).
• Ontbrekende Tokens: Ontbrekende modaliteiten worden weergegeven door leerbare speciale ontbrekende tokens (bijvoorbeeld <missing_audio>) die worden herhaald voor de sequentielengte.
• Prompting: Een gestructureerde prompt beschrijft expliciet de taakstatus (bijvoorbeeld "Gegeven {beschikbare} features, {ontbrekende} ontbreekt. Leid latente representaties af..."). Dit leidt de LLM om de ontbrekende semantiek te "verbeelden" op basis van de beschikbare context en zijn voorgeöpleide priors, in plaats van pixel-level reconstructie.

B. LLM-Gedreven Multidimensionale Representatiefusie (LMRF)

Om de afgeleide informatie te integreren zonder de generatieve stroom van de LLM te verstoren:

• Fusie Tokens: Speciale fusie tokens (bijvoorbeeld <emb_dim_1>, ..., <emb_dim_K>) worden aan de sequentie toegevoegd.
• Instructie: De prompt instrueert de LLM om multimodale features te aggregeren in deze specifieke slots.
• Rolbewuste Weging: Het model leert gewichten om de output van deze $K$ fusie tokens te combineren tot een hoofdrepresentatievector ($z_{main}$), waardoor de LLM diverse evaluatiecriteria (bijvoorbeeld moeilijkheidsgraad, uitvoering, artistieke waarde) kan comprimeren tot distincte latente slots.

C. Maskerbewuste Dual-Path Aggregatie (MDA)

Om hallucinaties van de LLM veroorzaakt door ernstig ontbreken te mitigeren, wordt de output verwerkt via twee parallelle paden:

1. Pad 1 (Onzekerheid-gekalibreerd Redeneren): Gebruikt het hoog-niveau semantische redeneren van de LLM ($z_{main}$). Een gating-mechanisme past dit dynamisch aan op basis van het ontbrekendheidsmasker om de zekerheid te kalibreren.
2. Pad 2 (Cross-Modale Patroonherstel): Een statistisch pad dat temporale pooling en self-attention uitvoert op beschikbare modaliteiten om laag-niveau feature patronen te herstellen.

• Collaboratieve Decoding: De uiteindelijke score is een gewogen som van het semantische redenerpad en het patroonherstelpad, gecontroleerd door een leerbare synergiecoëfficiënt ($\lambda_{syn}$). Dit balanceert hoog-niveau inferentie met datagedreven bewijs.

D. Optimalisatiestrategieën

• Consistentie Leren ($L_{con}$): Dwingt alignering af tussen het hoog-niveau redenerpad en het laag-niveau patroonherstelpad.
• Token-niveau Metrische Regularisatie ($L_{reg}$): Voorkomt feature-collaps onder de $K$ fusie tokens door diversiteit af te dwingen (maximaliseren van de afstand tussen token-representaties).

3. Belangrijkste Bijdragen

1. Nieuw Paradigma: Het eerste werk dat systematisch Trainingstijds Onvolledige Observaties in multimodaal leren adresseert, en de afhankelijkheid doorbreekt van volledige trainingsdata of reconstructie-supervisie.
2. LLM als Redeneermotor: Stelt een nieuwe formulering van IML voor als een conditionele sequence-to-score redeneertaak, waarbij LLM's worden gebruikt om latente semantiek voor ontbrekende modaliteiten af te leiden via prompt-gestuurde contextbewustheid.
3. Robuust Architectuur: Introduceert het Maskerbewuste Dual-Path Aggregatie (MDA) mechanisme om dynamisch semantisch redeneren en statistisch patroonherstel te balanceren, waardoor hallucinaties effectief worden gemitigeerd.
4. State-of-the-Art Prestaties: Demonstreert dat de methode bestaande SOTA-baselines (die vertrouwen op full-modal training) overtreft, zelfs onder de uitdagendere trainingstijds onvolledige setting.

4. Experimentele Resultaten

De methode werd geëvalueerd op drie langdurige AQA-benchmarks: FS1000 (Kunstschaatsen), Fis-V (Kunstschaatsen) en Ritmische Gymnastiek (RG).

• Prestaties: LIMSSR behaalde State-of-the-Art (SOTA) resultaten over alle datasets en ontbrekendheidspatronen.
  • Op FS1000 verbeterde het de gemiddelde Spearman-correlatie met 0,9% en verlaagde het de MSE met 8,4% vergeleken met de beste concurrerende methode (MCMoE).
  • Op Fis-V verbeterde het de gemiddelde Sp. Corr. met 1,2% en verlaagde het de MSE met 11,3%.
  • Cruciaal: LIMSSR presteerde beter dan methoden die toegang hadden tot volledige trainingsdata, wat de effectiviteit van de op redenering gebaseerde aanpak boven reconstructie-gebaseerde benaderingen bewijst.
• Ablatiestudies:
  • Het verwijderen van de LLM-ruggengraat veroorzaakte significante prestatiedalingen.
  • Het verwijderen van PCMI (het gebruik van zero-padding in plaats van ontbrekende tokens) degradeerde de prestaties, wat de belangrijkheid van prompt-gestuurde inferentie valideert.
  • Het verwijderen van MDA leidde tot instabiliteit, wat de noodzaak van dual-path kalibratie bevestigt.
• Efficiëntie: Het kader gebruikt een sub-1B parameter LLM (Qwen3-0.6B) met LoRA fine-tuning, waardoor het haalbaar is voor edge-deployering terwijl schaalbaarheid wordt behouden.

5. Betekenis en Impact

• Realistische Toepasbaarheid: Door de vereiste voor volledige trainingsdata te verwijderen, sluit LIMSSR aan bij realistische data-acquisitiebeperkingen waar sensoren falen of privacy de datacollectie beperkt.
• Verschuiving in Perspectief: Het artikel verschuift het IML-paradigma van "het reconstrueren van ontbrekende pixels" naar "het redeneren over ontbrekende semantiek", gebruikmakend van de inherente wereldkennis van LLM's.
• Generaliseerbaarheid: Hoewel getest op AQA, is het kader ontworpen om generaliseerbaar te zijn naar andere multimodale taken (bijvoorbeeld emotieherkenning, medische diagnose) waar data inherent onvolledig is.
• Data-efficiëntie: Het demonstreert dat hoog-presterend multimodaal leren mogelijk is met aanzienlijk minder data-supervisie, wat een nieuwe richting biedt voor data-efficiënt AI.

Kortom, LIMSSR vestigt een nieuwe standaard voor het hanteren van onvolledige multimodale data door het probleem te transformeren in een redeneertaak die oplosbaar is door LLM's, waarbij superieure robuustheid en nauwkeurigheid worden bereikt zonder de noodzaak van geïdealiseerde volledige trainingsdatasets.