💻 computer science

LIMSSR: LLM-Driven Sequence-to-Score Reasoning under Training-Time Incomplete Multimodal Observations

Ce papier propose LIMSSR, un cadre piloté par un LLM qui aborde le défi des observations multimodales incomplètes lors de l'entraînement en reformulant la tâche comme un problème de raisonnement séquentiel conditionnel, surpassant ainsi les références de l'état de l'art sans reposer sur l'hypothèse irréaliste d'une disponibilité complète des données multimodales durant l'entraînement.

Auteurs originaux : Huangbiao Xu, Huanqi Wu, Xiao Ke, Yuxin Peng

Publié 2026-05-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Huangbiao Xu, Huanqi Wu, Xiao Ke, Yuxin Peng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le Dilemme de la « Caméra Cassée »

Imaginez que vous êtes un juge sportif chargé de noter une routine de gymnastique. Dans un monde parfait, vous disposez de trois caméras : l'une montrant le corps de l'athlète (Vidéo), une autre capturant ses mouvements au ralenti (Flux), et une troisième enregistrant sa respiration et la musique (Audio). Vous utilisez les trois pour attribuer une note équitable.

Mais dans le monde réel, les choses tournent mal. Peut-être que l'enregistreur audio tombe en panne, ou que la caméra au ralenti bugue. Vous vous retrouvez alors, en tant que juge, avec une seule caméra. Les programmes informatiques traditionnels se confondent et paniquent ; ils tentent de « deviner » l'audio manquant en observant la vidéo, mais ils se trompent souvent car ils n'ont été entraînés que sur des séquences parfaites à trois caméras. Ils supposent : « Si je vois un saut, je dois entendre un impact », ce qui n'est pas toujours vrai.

La Nouvelle Solution : Le « Détective Intelligents » (LIMSSR)

Les auteurs de ce document proposent un nouveau système appelé LIMSSR. Au lieu d'essayer de « reconstruire » les images de la caméra manquante pixel par pixel (ce qui revient à essayer de redessiner parfaitement une photo manquante), ils traitent le problème comme une histoire de détective.

Ils utilisent un Grand Modèle de Langage (LLM) — imaginez-le comme un détective ultra-intelligent qui a lu des millions de livres et sait comment fonctionne le monde. Ce détective n'a pas besoin de voir la caméra manquante pour comprendre ce qui s'est passé ; il lui suffit d'utiliser sa « connaissance du monde » et les indices qu'il possède réellement pour déduire le reste.

Voici comment le système fonctionne, étape par étape :

1. L'Invite « Pièce Manquante » (Imputation de Modalité Contextuelle Guidée par l'Invite)

Imaginez que vous remplissez une grille de mots croisés, mais que certains indices manquent. Au lieu de laisser le blanc vide, vous dites au détective : « J'ai les indices visuels, mais l'indice audio manque. D'après ce que je vois, quel devrait être l'indice audio probable ? »

Le système prend les données disponibles (comme la vidéo) et les données manquantes (l'audio cassé) et les enveloppe dans une instruction textuelle spéciale (une « invite »). Il dit au LLM : « Voici ce que nous avons. Voici ce qui manque. Veuillez utiliser votre cerveau pour imaginer à quoi ressemble la partie manquante en termes de sens, et pas seulement de pixels. »

2. Les « Jetons de Fusion » (Fusion de Représentation Multidimensionnelle Pilotée par le LLM)

Une fois que le détective a « imaginé » les parties manquantes, le système doit combiner la vidéo réelle, l'audio réel et l'audio imaginé en une seule note.

Pensez à cela comme un chef qui possède de vrais ingrédients (la vidéo) et une recette pour un ingrédient manquant (l'audio imaginé). Au lieu de simplement tout jeter dans une marmite, le chef utilise des « emplacements » spéciaux (appelés Jetons de Fusion) pour les mélanger parfaitement. Ces emplacements garantissent que le plat final (la note) capture toutes les saveurs différentes : la difficulté, l'exécution et l'artistry.

3. La « Double-Vérification » (Agrégation à Double Chemin Sensible au Masque)

Parfois, même un détective intelligent peut « halluciner » (inventer des choses qui ne sont pas vraies). Pour éviter cela, le système utilise un Mécanisme de Double-Vérification.

Chemin 1 (Le Rêveur) : Le LLM utilise son imagination pour deviner les informations manquantes.
Chemin 2 (Le Statisticien) : Le système examine les motifs réels dans les données qu'il possède réellement pour voir ce qui se produit habituellement.

Le système agit ensuite comme un feu de circulation, pesant ces deux chemins. Si les données manquantes sont énormes (comme l'absence totale d'audio), il fait un peu plus confiance au « Rêveur » mais garde le « Statisticien » en veille pour corriger les suppositions folles. Si les données sont majoritairement présentes, il fait davantage confiance au « Statisticien ». Cela garantit que la note finale est à la fois créative (intelligente) et ancrée dans la réalité (précise).

Pourquoi C'est une Grande Nouvelle

La plupart des systèmes précédents ressemblaient à des élèves qui n'avaient étudié pour un examen qu'en utilisant un manuel parfait (des données avec toutes les caméras fonctionnelles). Lorsqu'ils passaient le vrai examen avec une page manquante, ils échouaient.

LIMSSR est différent. Il a été entraîné pendant que les pages manquaient. Il a appris à être un détective capable de résoudre l'affaire même lorsque les preuves sont incomplètes.

Pas de « Vue de Dieu » : Il n'a pas besoin de voir la version « parfaite » des données pendant l'entraînement. Il apprend à gérer les pièces manquantes dès le départ.
Meilleures Notes : Lors des tests sur trois ensembles de données sportives différents (Patinage Artistique, Plongeon et Gymnastique Rythmique), ce système a obtenu des notes supérieures à toutes les meilleures méthodes précédentes, même lorsque les données étaient manquantes à la fois pendant l'entraînement et les tests.

Résumé

En bref, LIMSSR est un système intelligent qui utilise un « super-détective » (un LLM) pour combler les lacunes des données vidéo ou audio manquantes en utilisant la logique et le contexte, plutôt que d'essayer de reconstruire parfaitement les images manquantes. Il vérifie ensuite son propre travail pour éviter les erreurs, aboutissant à des notes hautement précises pour les sports et les actions, même lorsque les données sont désordonnées ou incomplètes.

1. Définition du Problème

L'article comble une lacune critique dans l'Apprentissage Multimodal Incomplet (IML) : la dépendance à l'hypothèse irréaliste selon laquelle des données complètes (toutes les modalités présentes) sont disponibles durant la phase d'entraînement.

Le Fossé Réel : Dans les scénarios réels (par exemple, défaillances de capteurs, contraintes de confidentialité, corruption de données), les données d'entraînement souffrent souvent d'une absence systémique. Les méthodes existantes utilisent généralement un entraînement avec une "vue de Dieu" (données complètes) pour générer des cibles de reconstruction ou distiller des a priori, ce qui échoue lorsque des données complètes ne sont pas disponibles durant l'entraînement.
Le Défi : Les auteurs définissent le problème des Observations Incomplètes en Phase d'Entraînement, où le modèle doit apprendre des représentations robustes en utilisant uniquement des modalités partielles ( $X_{obs}$ ) et un masque d'absence ( $m$ ) durant l'entraînement et l'inférence, sans accès à des données complètes de vérité terrain pour la reconstruction ou la distillation.
Tâche Cible : Le cadre est mis en œuvre pour l'Évaluation de la Qualité des Actions (AQA), une tâche nécessitant une compréhension temporelle à long terme et une analyse sémantique fine (par exemple, notation sportive, évaluation médicale), où les modalités manquantes (RGB, Audio, Flux Optique) sont courantes.

2. Méthodologie : Cadre LIMSSR

Les auteurs proposent LIMSSR (Raisonnement LLM-Driven de Séquence vers Score pour Multimodal Incomplet), qui reformule l'IML comme une tâche de raisonnement de séquence conditionnelle plutôt que comme une tâche de reconstruction. Elle exploite les connaissances du monde et les capacités de raisonnement des Modèles de Langage de Grande Taille (LLM).

Le cadre se compose de trois étapes principales (illustrées dans la Figure 2) :

A. Imputation de Modalité Sensible au Contexte Guidée par Prompt (PCMI)

Au lieu de combler les données manquantes par des zéros, LIMSSR traite l'absence comme une variable à inférer.

Tokenisation : Les modalités disponibles sont converties en séquences de tokens avec des tokens de frontière spéciaux (par exemple, <visual_start>, <visual_end>).
Tokens Manquants : Les modalités manquantes sont représentées par des tokens manquants spéciaux appris (par exemple, <missing_audio>) répétés sur la longueur de la séquence.
Prompting : Un prompt structuré décrit explicitement l'état de la tâche (par exemple, "Étant donné les caractéristiques {disponibles}, {manquant} est absent. Inférez les représentations latentes..."). Cela guide le LLM pour "imaginer" les sémantiques manquantes basées sur le contexte disponible et ses a priori pré-entraînés, plutôt que sur une reconstruction au niveau des pixels.

B. Fusion de Représentation Multidimensionnelle Pilotée par LLM (LMRF)

Pour intégrer les informations inférées sans perturber le flux génératif du LLM :

Tokens de Fusion : Des tokens de fusion spéciaux (par exemple, <emb_dim_1>, ..., <emb_dim_K>) sont ajoutés à la fin de la séquence.
Instruction : Le prompt instruit le LLM à agréger les caractéristiques multimodales dans ces slots spécifiques.
Pondération Sensible au Rôle : Le modèle apprend des poids pour combiner les sorties de ces $K$ tokens de fusion en un vecteur de représentation principal ( $z_{main}$ ), permettant au LLM de compresser divers critères d'évaluation (par exemple, difficulté, exécution, artistique) dans des slots latents distincts.

C. Agrégation Dual-Path Sensible au Masque (MDA)

Pour atténuer les hallucinations du LLM causées par une absence sévère, la sortie est traitée via deux chemins parallèles :

Chemin 1 (Raisonnement Calibré par l'Incertitude) : Utilise le raisonnement sémantique de haut niveau du LLM ( $z_{main}$ ). Un mécanisme de porte ajuste dynamiquement cela en fonction du masque d'absence pour calibrer la confiance.
Chemin 2 (Récupération de Motifs Inter-modaux) : Un chemin statistique qui effectue un regroupement temporel et une auto-attention sur les modalités disponibles pour récupérer des motifs de caractéristiques de bas niveau.

Décodage Collaboratif : Le score final est une somme pondérée du chemin de raisonnement sémantique et du chemin de récupération de motifs, contrôlée par un coefficient de synergie apprenable ( $\lambda_{syn}$ ). Cela équilibre l'inférence de haut niveau avec des preuves basées sur les données.

D. Stratégies d'Optimisation

Apprentissage de Cohérence ( $L_{con}$ ) : Impose l'alignement entre le chemin de raisonnement de haut niveau et le chemin de récupération de motifs de bas niveau.
Régularisation Métrique au Niveau des Tokens ( $L_{reg}$ ) : Empêche l'effondrement des caractéristiques parmi les $K$ tokens de fusion en imposant la diversité (maximisation de la distance entre les représentations de tokens).

3. Contributions Clés

Nouveau Paradigme : Le premier travail à traiter systématiquement les Observations Incomplètes en Phase d'Entraînement dans l'apprentissage multimodal, brisant la dépendance aux données d'entraînement complètes ou à la supervision par reconstruction.
LLM comme Moteur de Raisonnement : Propose une nouvelle formulation de l'IML comme une tâche de raisonnement conditionnel de séquence vers score, utilisant les LLM pour inférer des sémantiques latentes pour les modalités manquantes via une prise de conscience contextuelle guidée par prompt.
Architecture Robuste : Introduit le mécanisme d'Agrégation Dual-Path Sensible au Masque (MDA) pour équilibrer dynamiquement le raisonnement sémantique et la récupération de motifs statistiques, atténuant efficacement les hallucinations.
Performance de l'État de l'Art : Démontre que la méthode surpasse les bases de référence SOTA existantes (qui reposent sur un entraînement multimodal complet) même dans le cadre plus difficile d'observations incomplètes en phase d'entraînement.

4. Résultats Expérimentaux

La méthode a été évaluée sur trois benchmarks AQA à long terme : FS1000 (Patinage Artistique), Fis-V (Patinage Artistique) et Gymnastique Rythmique (RG).

Performance : LIMSSR a obtenu des résultats de l'État de l'Art (SOTA) sur tous les ensembles de données et tous les motifs d'absence.
- Sur FS1000, il a amélioré la Corrélation de Spearman moyenne de 0,9 % et réduit le MSE de 8,4 % par rapport à la meilleure méthode concurrente (MCMoE).
- Sur Fis-V, il a amélioré la Corr. Sp. moyenne de 1,2 % et réduit le MSE de 11,3 %.
- Crucialement, LIMSSR a surpassé les méthodes ayant accès à des données d'entraînement complètes, prouvant l'efficacité de l'approche basée sur le raisonnement par rapport aux approches basées sur la reconstruction.
Études d'Ablation :
- La suppression du squelette LLM a entraîné des baisses de performance significatives.
- La suppression de PCMI (utilisant le remplissage par zéro au lieu des tokens manquants) a dégradé les performances, validant l'importance de l'inférence guidée par prompt.
- La suppression de MDA a conduit à une instabilité, confirmant la nécessité d'une calibration dual-chemin.
Efficacité : Le cadre utilise un LLM de moins de 1 milliard de paramètres (Qwen3-0.6B) avec un fine-tuning LoRA, le rendant faisable pour un déploiement en périphérie tout en maintenant l'évolutivité.

5. Signification et Impact

Applicabilité Réelle : En supprimant l'exigence de données d'entraînement complètes, LIMSSR s'aligne sur les contraintes réelles d'acquisition de données où les capteurs tombent en panne ou où la confidentialité limite la collecte de données.
Changement de Perspective : L'article fait passer le paradigme de l'IML de la "reconstruction de pixels manquants" au "raisonnement sur des sémantiques manquantes", exploitant les connaissances intrinsèques du monde des LLM.
Généralisabilité : Bien que testé sur l'AQA, le cadre est conçu pour être généralisable à d'autres tâches multimodales (par exemple, reconnaissance des émotions, diagnostic médical) où les données sont intrinsèquement incomplètes.
Efficacité des Données : Il démontre qu'un apprentissage multimodal haute performance est possible avec une supervision de données significativement réduite, offrant une nouvelle direction pour l'IA économe en données.

En conclusion, LIMSSR établit une nouvelle norme pour la gestion de données multimodales incomplètes en transformant le problème en une tâche de raisonnement soluble par les LLM, atteignant une robustesse et une précision supérieures sans avoir besoin de jeux de données d'entraînement complets idéalisés.