💻 computer science

LIMSSR: LLM-Driven Sequence-to-Score Reasoning under Training-Time Incomplete Multimodal Observations

Dieser Artikel schlägt LIMSSR vor, ein von LLMs gesteuertes Framework, das die herausfordernde Situation unvollständiger multimodaler Beobachtungen während des Trainings adressiert, indem es die Aufgabe als ein Problem der bedingten Sequenzableitung neu formuliert und dadurch state-of-the-art-Baselines übertrifft, ohne auf die unrealistische Annahme der Verfügbarkeit vollständiger Modalitätsdaten während des Trainings zurückzugreifen.

Ursprüngliche Autoren: Huangbiao Xu, Huanqi Wu, Xiao Ke, Yuxin Peng

Veröffentlicht 2026-05-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Huangbiao Xu, Huanqi Wu, Xiao Ke, Yuxin Peng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das Dilemma der „kaputten Kamera"

Stellen Sie sich vor, Sie sind ein Sportrichter, der eine Turnroutine bewerten soll. In einer perfekten Welt haben Sie drei Kameras: eine, die den Körper der Athletin zeigt (Video), eine, die ihre Bewegungen in Zeitlupe einfängt (Flow), und eine, die ihren Atem und die Musik aufzeichnet (Audio). Sie nutzen alle drei, um eine faire Bewertung abzugeben.

In der realen Welt läuft jedoch oft etwas schief. Vielleicht geht das Audiorekordergerät kaputt oder die Zeitlupekamera hat einen Defekt. Jetzt sind Sie ein Richter mit nur einer Kamera. Herkömmliche Computerprogramme geraten in Verwirrung und Panik; sie versuchen, das fehlende Audio durch Betrachten des Videos „zu erraten", aber sie raten oft falsch, weil sie nur auf perfekten, dreikamerigen Aufnahmen trainiert wurden. Sie gehen davon aus: „Wenn ich einen Sprung sehe, muss ich ein dumpfes Geräusch hören", was nicht immer zutrifft.

Die neue Lösung: Der „kluge Detektiv" (LIMSSR)

Die Autoren dieses Papiers schlagen ein neues System namens LIMSSR vor. Anstatt zu versuchen, das fehlende Kamerabild Pixel für Pixel „wiederherzustellen" (was so wäre, als würde man versuchen, ein fehlendes Foto perfekt nachzuzeichnen), behandeln sie das Problem wie eine Detektivgeschichte.

Sie nutzen ein Large Language Model (LLM) – stellen Sie sich das als einen superklugen Detektiv vor, der Millionen von Büchern gelesen hat und weiß, wie die Welt funktioniert. Dieser Detektiv muss das fehlende Kamerabild nicht sehen, um zu verstehen, was passiert ist; er muss nur sein „Weltwissen" und die Hinweise verwenden, die er hat, um den Rest zu ermitteln.

So funktioniert das System, Schritt für Schritt:

1. Der „fehlende Teil"-Prompt (Prompt-Gesteuerte kontextbewusste Modalitätsimputation)

Stellen Sie sich vor, Sie füllen ein Kreuzworträtsel aus, aber einige Hinweise fehlen. Anstatt die Lücke leer zu lassen, sagen Sie dem Detektiv: „Ich habe die visuellen Hinweise, aber der Audiohinweis fehlt. Basierend auf dem, was ich sehe, was sollte der Audiohinweis wahrscheinlich sein?"

Das System nimmt die verfügbaren Daten (wie das Video) und die fehlenden Daten (das defekte Audio) und verpackt sie in eine spezielle Textanweisung (einen „Prompt"). Es sagt dem LLM: „Hier ist, was wir haben. Hier ist, was fehlt. Bitte nutzen Sie Ihr Gehirn, um sich vorzustellen, wie der fehlende Teil in Bezug auf die Bedeutung aussieht, nicht nur in Bezug auf Pixel."

2. Die „Fusions-Token" (LLM-gesteuerte multidimensionale Repräsentationsfusion)

Sobald der Detektiv die fehlenden Teile „vorgestellt" hat, muss das System das echte Video, das echte Audio und das vorgestellte Audio zu einer einzigen Bewertung zusammenführen.

Stellen Sie sich das wie einen Koch vor, der echte Zutaten (das Video) und ein Rezept für eine fehlende Zutat (das vorgestellte Audio) hat. Anstatt sie einfach in einen Topf zu werfen, verwendet der Koch spezielle „Fächer" (genannt Fusions-Token), um sie perfekt zu mischen. Diese Fächer stellen sicher, dass das Endgericht (die Bewertung) alle verschiedenen Geschmacksrichtungen einfängt: Schwierigkeit, Ausführung und Kunstfertigkeit.

3. Der „Doppel-Check" (Maskenbewusste Dual-Pfad-Aggregation)

Manchmal kann selbst ein kluger Detektiv „halluzinieren" (sich Dinge ausdenken, die nicht wahr sind). Um dies zu verhindern, verwendet das System einen Doppel-Check-Mechanismus.

Pfad 1 (Der Träumer): Das LLM nutzt seine Vorstellungskraft, um die fehlenden Informationen zu erraten.
Pfad 2 (Der Statistiker): Das System betrachtet die tatsächlichen Muster in den Daten, die es hat, um zu sehen, was normalerweise passiert.

Das System agiert dann wie eine Ampel, die diese beiden Pfade gewichtet. Wenn die fehlenden Daten riesig sind (wie gar kein Audio), vertraut es dem „Träumer" etwas mehr, hält aber den „Statistiker" bereit, um etwaige wilde Vermutungen zu korrigieren. Wenn die Daten größtenteils vorhanden sind, vertraut es dem „Statistiker" mehr. Dies stellt sicher, dass die endgültige Bewertung sowohl kreativ (klug) als auch fundiert (genau) ist.

Warum das eine große Sache ist

Die meisten früheren Systeme waren wie Schüler, die nur mit einem perfekten Lehrbuch (Daten, bei denen alle Kameras funktionierten) für eine Prüfung gelernt hatten. Als sie die echte Prüfung mit einer fehlenden Seite machten, scheiterten sie.

LIMSSR ist anders. Es wurde trainiert, während die Seiten fehlten. Es lernte, ein Detektiv zu sein, der den Fall lösen kann, selbst wenn die Beweise unvollständig sind.

Kein „Gottesauge": Es muss während des Trainings nicht die „perfekte" Version der Daten sehen. Es lernt von Anfang an, mit fehlenden Teilen umzugehen.
Bessere Bewertungen: Bei Tests mit drei verschiedenen Sportdatensätzen (Eiskunstlauf, Turmspringen und Rhythmische Gymnastik) erzielte dieses System höhere Werte als alle bisherigen besten Methoden, selbst wenn die Daten sowohl während des Trainings als auch während des Tests fehlten.

Zusammenfassung

Kurz gesagt ist LIMSSR ein intelligentes System, das einen „Super-Detektiv" (ein LLM) nutzt, um Lücken in fehlenden Video- oder Audiodaten durch Logik und Kontext zu füllen, anstatt zu versuchen, die fehlenden Bilder perfekt wiederherzustellen. Es überprüft seine eigene Arbeit doppelt, um Fehler zu vermeiden, und erzielt so hochpräzise Bewertungen für Sportarten und Aktionen, selbst wenn die Daten chaotisch oder unvollständig sind.

1. Problemdefinition

Das Papier adressiert eine kritische Lücke im Incomplete Multimodal Learning (IML): die Abhängigkeit von der unrealistischen Annahme, dass vollständige Daten (alle Modalitäten vorhanden) während der Trainingsphase verfügbar sind.

Die Realitätslücke: In realen Szenarien (z. B. Sensorausfälle, Datenschutzbeschränkungen, Datenkorruption) leiden Trainingsdaten oft unter systematischem Fehlen von Daten. Bestehende Methoden verwenden typischerweise ein Training aus der „Gott-Perspektive" (vollständige Daten), um Rekonstruktionsziele zu generieren oder Priors zu destillieren, was versagt, wenn während des Trainings keine vollständigen Daten verfügbar sind.
Die Herausforderung: Die Autoren definieren das Problem der Training-Time Incomplete Observations, bei dem das Modell robuste Repräsentationen lernen muss, indem es während des Trainings und der Inferenz nur teilweise Modalitäten ( $X_{obs}$ ) und eine Fehlmengenmaske ( $m$ ) verwendet, ohne Zugriff auf vollständige Ground-Truth-Daten für Rekonstruktion oder Destillation zu haben.
Zielsetzung: Das Framework wird für die Action Quality Assessment (AQA) instanziiert, eine Aufgabe, die ein langfristiges zeitliches Verständnis und eine feingranulare semantische Analyse erfordert (z. B. Sportwertung, medizinische Bewertung), bei der das Fehlen von Modalitäten (RGB, Audio, Optischer Fluss) üblich ist.

2. Methodik: LIMSSR-Framework

Die Autoren schlagen LIMSSR (LLM-Driven Incomplete Multimodal Sequence-to-Score Reasoning) vor, das IML als bedingte Sequenz-zu-Score-Reasoning-Aufgabe und nicht als Rekonstruktionsaufgabe neu formuliert. Es nutzt das Weltwissen und die Reasoning-Fähigkeiten von Large Language Models (LLMs).

Das Framework besteht aus drei Kernphasen (illustriert in Abbildung 2):

A. Prompt-Guided Context-Aware Modality Imputation (PCMI)

Anstatt fehlende Daten mit Nullen zu füllen, behandelt LIMSSR das Fehlen als eine Variable, die inferiert werden muss.

Tokenisierung: Verfügbare Modalitäten werden in Token-Sequenzen mit speziellen Grenz-Token (z. B. <visual_start>, <visual_end>) umgewandelt.
Fehlende Token: Fehlende Modalitäten werden durch lernbare spezielle fehlende Token (z. B. <missing_audio>) dargestellt, die über die Sequenzlänge wiederholt werden.
Prompting: Ein strukturierter Prompt beschreibt explizit den Aufgabenstatus (z. B. „Given {available} features, {missing} is missing. Infer latent representations..."). Dies leitet das LLM an, die fehlende Semantik basierend auf dem verfügbaren Kontext und seinen vortrainierten Priors zu „imaginieren", anstatt eine Pixel-für-Pixel-Rekonstruktion durchzuführen.

B. LLM-Driven Multidimensional Representation Fusion (LMRF)

Um die inferierten Informationen zu integrieren, ohne den generativen Fluss des LLM zu stören:

Fusions-Token: Spezielle Fusions-Token (z. B. <emb_dim_1>, ..., <emb_dim_K>) werden an die Sequenz angehängt.
Anweisung: Der Prompt weist das LLM an, multimodale Merkmale in diese spezifischen Slots zu aggregieren.
Rollenbewusste Gewichtung: Das Modell lernt Gewichte, um die Ausgaben dieser $K$ Fusions-Token zu einem Hauptrepräsentationsvektor ( $z_{main}$ ) zu kombinieren, wodurch das LLM in der Lage ist, diverse Bewertungskriterien (z. B. Schwierigkeit, Ausführung, Kunstfertigkeit) in distincte latente Slots zu komprimieren.

C. Mask-Aware Dual-Path Aggregation (MDA)

Um Halluzinationen des LLM, die durch starkes Fehlen von Daten verursacht werden, zu mildern, wird die Ausgabe über zwei parallele Pfade verarbeitet:

Pfad 1 (Unsicherheitskalibriertes Reasoning): Nutzt das hochlevelige semantische Reasoning des LLM ( $z_{main}$ ). Ein Gating-Mechanismus passt dies dynamisch basierend auf der Fehlmengenmaske an, um das Vertrauen zu kalibrieren.
Pfad 2 (Cross-Modal Pattern Recovery): Ein statistischer Pfad, der temporales Pooling und Self-Attention auf verfügbaren Modalitäten durchführt, um niedriglevelige Merkmalsmuster wiederherzustellen.

Kooperatives Decoding: Die endgültige Punktzahl ist eine gewichtete Summe aus dem semantischen Reasoning-Pfad und dem Pattern-Recovery-Pfad, gesteuert durch einen lernbaren Synergie-Koeffizienten ( $\lambda_{syn}$ ). Dies balanciert hochlevelige Inferenz mit datengestützten Beweisen.

D. Optimierungsstrategien

Consistency Learning ( $L_{con}$ ): Erzwingt die Ausrichtung zwischen dem hochleveligen Reasoning-Pfad und dem niedrigleveligen Pattern-Recovery-Pfad.
Token-level Metric Regularization ( $L_{reg}$ ): Verhindert den Feature-Collapse unter den $K$ Fusions-Token durch Erzwingung von Diversität (Maximierung des Abstands zwischen Token-Repräsentationen).

3. Hauptbeiträge

Neues Paradigma: Die erste Arbeit, die Training-Time Incomplete Observations im multimodalen Lernen systematisch adressiert und die Abhängigkeit von vollständigen Trainingsdaten oder Rekonstruktions-Supervision durchbricht.
LLM als Reasoning-Engine: Schlägt eine neue Formulierung von IML als bedingte Sequence-to-Score-Reasoning-Aufgabe vor, bei der LLMs genutzt werden, um latente Semantik für fehlende Modalitäten mittels prompt-gesteuerter Kontextwahrnehmung zu inferieren.
Robuste Architektur: Führt den Mask-Aware Dual-Path Aggregation (MDA)-Mechanismus ein, um semantisches Reasoning und statistische Pattern-Recovery dynamisch zu balancieren und Halluzinationen effektiv zu mildern.
State-of-the-Art-Leistung: Zeigt, dass die Methode bestehende SOTA-Baselines (die auf Vollmodal-Training angewiesen sind) auch unter der herausfordernderen Einstellung des Training-Time Incomplete übertrifft.

4. Experimentelle Ergebnisse

Die Methode wurde an drei langfristigen AQA-Benchmarks evaluiert: FS1000 (Eiskunstlauf), Fis-V (Eiskunstlauf) und Rhythmic Gymnastics (RG).

Leistung: LIMSSR erzielte State-of-the-Art (SOTA)-Ergebnisse über alle Datensätze und Fehlmengenmuster hinweg.
- Auf FS1000 verbesserte es die durchschnittliche Spearman-Korrelation um 0,9 % und reduzierte den MSE um 8,4 % im Vergleich zur besten konkurrierenden Methode (MCMoE).
- Auf Fis-V verbesserte es die durchschnittliche Sp. Corr. um 1,2 % und reduzierte den MSE um 11,3 %.
- Entscheidend ist, dass LIMSSR Methoden, die Zugriff auf vollständige Trainingsdaten hatten, übertraf und damit die Wirksamkeit des auf Reasoning basierenden Ansatzes gegenüber rekonstruktionsbasierten Ansätzen bewies.
Ablationsstudien:
- Das Entfernen des LLM-Backbones führte zu signifikanten Leistungseinbußen.
- Das Entfernen von PCMI (Verwendung von Null-Padding anstelle von fehlenden Token) verschlechterte die Leistung und validierte die Bedeutung prompt-gesteuerter Inferenz.
- Das Entfernen von MDA führte zu Instabilität und bestätigte die Notwendigkeit der Dual-Path-Kalibrierung.
Effizienz: Das Framework verwendet ein LLM mit weniger als 1 Milliarde Parametern (Qwen3-0.6B) mit LoRA-Fine-Tuning, was es für Edge-Deployments machbar macht, während die Skalierbarkeit erhalten bleibt.

5. Bedeutung und Auswirkung

Anwendbarkeit in der realen Welt: Durch die Beseitigung der Anforderung nach vollständigen Trainingsdaten passt sich LIMSSR den Einschränkungen der Datenerfassung in der realen Welt an, bei denen Sensoren ausfallen oder Datenschutz die Datenerhebung begrenzt.
Perspektivwechsel: Das Papier verschiebt das IML-Paradigma von „Rekonstruktion fehlender Pixel" hin zu „Reasoning über fehlende Semantik" und nutzt das inhärente Weltwissen von LLMs.
Generalisierbarkeit: Obwohl an AQA getestet, ist das Framework so konzipiert, dass es auf andere multimodale Aufgaben (z. B. Emotionserkennung, medizinische Diagnose) generalisierbar ist, bei denen Daten inhärent unvollständig sind.
Dateneffizienz: Es zeigt, dass hochleistungsfähiges multimodales Lernen mit deutlich weniger Datensupervision möglich ist, und bietet eine neue Richtung für dateneffiziente KI.

Zusammenfassend etabliert LIMSSR einen neuen Standard für den Umgang mit unvollständigen multimodalen Daten, indem es das Problem in eine Reasoning-Aufgabe transformiert, die von LLMs gelöst werden kann, und erreicht dabei überlegene Robustheit und Genauigkeit ohne die Notwendigkeit idealisierter vollständiger Trainingsdatensätze.