💻 computer science

Omni-Persona: Systematic Benchmarking and Improving Omnimodal Personalization

Cet article présente Omni-Persona, le premier benchmark complet pour la personnalisation omnimodale qui unifie l'évaluation du texte, de l'image et de l'audio avec une nouvelle métrique d'Exactitude Calibrée, révélant des lacunes critiques dans les capacités d'ancrage des modèles actuels ainsi que les limites des méthodes de post-entraînement existantes telles que le SFT et le RLVR.

Auteurs originaux : Yeongtak Oh, Dongwook Lee, Sangkwon Park, Heeseung Kim, Sungroh Yoon

Publié 2026-08-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yeongtak Oh, Dongwook Lee, Sangkwon Park, Heeseung Kim, Sungroh Yoon

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un assistant numérique super intelligent capable de voir des photos, d'entendre des voix et de lire du texte, tout cela en même temps. C'est le monde de l'IA « omnimodale », où un seul cerveau tente de comprendre le monde à travers les yeux, les oreilles et les mots simultanément. Mais il y a une partie délicate : rendre cet assistant véritablement personnel. Vous voulez qu'il reconnaisse votre visage dans une foule, qu'il connaisse votre voix par rapport à celle d'un étranger, et qu'il se souvienne de vos histoires préférées. Cependant, la vie réelle est désordonnée. Parfois, vous demandez : « Qui est-ce ? », et la personne n'est même pas présente. Un assistant vraiment intelligent ne devrait pas simplement deviner ; il devrait savoir dire : « Je ne sais pas ».

Pendant longtemps, les chercheurs ont testé ces assistants principalement sur des images et des mots, ignorant la partie vocale. Ils les ont également testés principalement dans des pièces parfaites et propres où la réponse est garantie d'être présente. Ce document présente un nouveau test plus difficile appelé Omni-Persona. Voyez cela comme un « test de résistance » pour l'IA personnelle. Au lieu de simplement demander : « A-t-il trouvé la bonne réponse ? » (ce qui revient à vérifier si un étudiant a mémorisé le manuel), ce test demande : « Savait-il quand ne pas répondre ? ». Il vérifie si l'IA peut gérer le bruit du monde réel, là où la personne dont vous posez la question pourrait être totalement absente de la mémoire.

Les chercheurs ont construit un immense terrain de jeu avec environ 750 scénarios différents pour voir comment les modèles d'IA actuels gèrent cela. Ils ont créé un système appelé Graphe de Modalité de Persona, qui est comme une toile géante de connexions. Chaque personne dans la mémoire de l'IA est un nœud possédant trois brins : une photo, un extrait vocal et une biographie textuelle. Quand vous posez une question, l'IA doit trouver le bon brin dans la toile et tirer le bon fil. Le test comprend quatre types principaux de défis : faire correspondre un visage à un visage, une voix à une voix, un indice textuel à une biographie textuelle, et le plus difficile — utiliser un indice textuel pour trouver une personne basée sur sa voix ou sa photo. Crucialement, environ la moitié de ces questions sont des « questions pièges » où la personne dont vous posez la question ne figure pas du tout dans la mémoire. L'objectif est de voir si l'IA peut affirmer avec confiance : « Je ne peux pas décider », au lieu d'inventer une histoire.

L'équipe a soumis plusieurs modèles d'IA célèbres à ce parcours du combattant, incluant certains de grandes entreprises technologiques et d'autres en open-source. Ils ont découvert des choses surprenantes. Premièrement, les modèles d'IA sont bien meilleurs pour reconnaître les visages que les voix. C'est comme s'ils avaient des yeux aiguisés mais des oreilles floues ; ils peuvent repérer un visage facilement, mais se confondent souvent avec une voix, même quand la voix est le seul indice. Deuxièmement, simplement rendre l'IA plus grande (ajouter plus de « puissance cérébrale » ou de paramètres) ne la rend pas toujours plus intelligente pour être personnelle. En fait, certains des plus grands modèles étaient les moins bons pour savoir quand rester silencieux, inventant souvent des choses (hallucinations) quand la réponse n'était pas là.

L'équipe a également testé deux méthodes différentes pour entraîner ces modèles à s'améliorer. La première méthode, appelée SFT (Affinage Supervisé), est comme donner à l'IA une pile massive de fiches de révision avec les bonnes réponses écrites dessus. Les chercheurs ont essayé de lui donner 1 000 fiches, puis 10 000 fiches, mais l'IA ne s'est pas beaucoup améliorée pour gérer les questions délicates sur les « personnes absentes ». Il semble que le simple fait de mémoriser plus d'exemples n'apprenne pas à l'IA comment gérer l'incertitude.

La seconde méthode, le RLVR (Apprentissage par Renforcement avec Récompenses Vérifiables), est plus semblable à un jeu vidéo. L'IA essaie de répondre, et si elle réussit, elle gagne des points. Si elle se trompe, elle en perd. Les chercheurs ont constaté que cette méthode rendait l'IA bien meilleure pour trouver les bonnes réponses quand la personne était présente. Cependant, cela a eu un effet secondaire : l'IA est devenue trop impatiente de jouer au jeu. Elle a commencé à deviner même quand elle ne connaissait pas la réponse, juste pour gagner des points. Cela l'a rendue moins performante sur le score de « précision calibrée » — une façon sophistiquée de dire « être juste et savoir quand s'arrêter ». Le document suggère que, bien que cet entraînement de type « jeu » aide l'IA à trouver des choses, elle a besoin d'un meilleur règlement pour lui apprendre quand dire : « Je ne sais pas ».

En fin de compte, les auteurs concluent que nous sommes encore loin d'une IA personnelle parfaite. Les modèles actuels sont excellents pour reconnaître des choses lorsqu'elles sont juste devant eux, mais ils peinent face à la réalité désordonnée des informations manquantes. Ils sont trop confiants alors qu'ils devraient être humbles. Le document n'offre pas de solution miracle, mais il fournit une carte très claire de l'endroit où l'IA échoue, montrant que la prochaine étape n'est pas seulement de créer des modèles plus grands, mais de leur enseigner l'art de savoir ce qu'ils ne savent pas.

Résumé Technique : Omni-Persona

Énoncé du Problème

Bien que les modèles de langage de grande taille multimodaux (MLLM) aient progressé de manière significative dans le traitement du texte, de l'image et de l'audio, la recherche sur la personnalisation omnimodale reste fragmentée. Les approches existantes sont principalement limitées aux contextes vision-langage, négligeant l'audio en tant que modalité primaire de la personnalité (persona). De plus, les protocoles d'évaluation actuels souffrent de trois lacunes critiques :

Manque de couverture unifiée : Les benchmarks intègrent rarement le texte, l'image et l'audio simultanément, traitant souvent l'audio comme secondaire ou l'excluant totalement.
Contextes d'évaluation idéalisés : La plupart des benchmarks supposent que la cible de la personnalité est toujours présente dans le contexte récupéré (répondable uniquement), ne tenant pas compte du bruit de récupération du monde réel où l'identité interrogée peut être absente. Cela conduit à un échec de détection de l'« hallucination » (répondre lorsque la personnalité est absente) ou de l'« abstention excessive » (ne pas répondre lorsque la personnalité est présente).
Rigueur diagnostique insuffisante : Les métriques de rappel standard confondent la capacité de fondement (grounding) avec la volonté du modèle à répondre, occultant les échecs de calibration. Il existe un manque d'étude systématique sur la manière dont les régimes de post-entraînement (Fine-Tuning Supervisé vs Apprentissage par Renforcement) affectent le fondement omnimodal et la calibration.

Méthodologie : Benchmark Omni-Persona

Les auteurs introduisent Omni-Persona, le premier benchmark complet, dédié exclusivement à l'évaluation, pour la personnalisation omnimodale. La méthodologie est construite sur les composants suivants :

1. Formalisation : Graphe de Modalités de Personnalité (PMG)

La tâche est formalisée comme un problème de routage cross-modal sur un Graphe de Modalités de Personnalité ( $G = (V, E)$ ).

Nœuds : Représentent une requête ( $Q$ ) et des nœuds de contexte récupérés ( $C_1, \dots, C_K$ ). Chaque nœud contient un triplet de modalités : visuelle ( $v$ ), audio ( $a$ ) et textuelle ( $t$ ).
Tâche : Le modèle doit identifier le nœud de contexte pertinent $C_j$ correspondant à l'indice de la requête et fonder sa réponse sur le texte associé $t_j$ . Si la personnalité cible est absente de tous les contextes, le modèle doit s'abstenir.
Contexte Brut : Contra-rent par les travaux antérieurs qui compressent les signaux multimodaux en texte, Omni-Persona utilise des contextes sous forme brute (images et clips audio originaux) pour préserver les indices d'identité fins (ex: timbre vocal, géométrie faciale) difficiles à verbaliser.

2. Conception du Benchmark

Échelle : Environ 750 items d'évaluation répartis sur 4 groupes de tâches et 18 tâches fines.
Groupes de Tâches :
1. I2I (Image-to-Image) : Reconnaissance d'identité visuelle.
2. A2A (Audio-to-Audio) : Reconnaissance d'identité vocale.
3. T2T (Text-to-Text) : Récupération sémantique intra-modale.
4. T2Any (Text-to-Any) : Fondement sémantique cross-modal (ex: requête textuelle vers un contexte audio/image).
Évaluation de l'Absence de Personnalité : Environ 50 % des échantillons sont des cas « no-GT » (vérité terrain absente), exigeant que le modèle effectue une abstention structurée plutôt que de halluciner une réponse. Des distracteurs difficiles (identités visuellement ou vocalement similaires) sont inclus pour simuler le bruit de récupération.

3. Métriques d'Évaluation

Pour remédier aux limites des métriques basées uniquement sur le rappel, les auteurs proposent l'Exactitude Calibrée (Cal) :
$Cal = \frac{n_a \cdot Ans + n_u \cdot Unans}{n_a + n_u}$
Où :

$Ans$ : Rappel Répondable (exactitude sur les items répondables).
$Unans$ : Rappel Non-Répondable (abstention correcte sur les items absents de la personnalité).
Métriques Anti-Hallucination : $1-FA$ (taux de fausse abstention sur les items répondables) et $TA$ (taux d'abstention réelle sur les items non-répondables) sont utilisés pour diagnostiquer les modes de défaillance spécifiques (abstention excessive vs hallucination).

4. Analyse du Post-Entraînement

Le papier étudie deux régimes de post-entraînement sur des bases open-source (Qwen2.5-Omni, Gemma4) :

Fine-Tuning Supervisé (SFT) : Entraîné sur des jeux de données de 1K et 10K d'annotations de vérité terrain curatées.
Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR) : Entraîné sans warm-up SFT en utilisant trois composantes de récompense vérifiables :
1. Perception : Correspondance binaire basée sur des règles (oui/non) pour l'identité visuelle/audio.
2. Localisation : Sélection par règles de l'index de contexte correct.
3. Récupération : Vérification par LLM-as-a-Judge des réponses fondées ou de l'abstention correcte.

Résultats Clés

Les expériences ont été menées sur des modèles fermés (famille Gemini-3) et ouverts (Qwen, Gemma, MiniCPM, Phi, Interactive-Omni).

Écart de Fondement Audio-Visuel : Les modèles open-source présentent un écart de performance significatif entre le fondement visuel (I2I) et audio (A2A), le rappel audio accusant un retard de 5 à 35 points de pourcentage. Bien que le RLVR améliore le rappel audio, il ne comble pas entièrement l'écart ni ne résout les problèmes de calibration.
Le Rappel et l'Échelle sont des Diagnostics Incomplets : Les modèles plus larges (ex: Qwen3-30B) ne parviennent pas nécessairement à obtenir des scores Cal plus élevés que leurs variantes plus petites (ex: Qwen2.5-3B). Un rappel élevé coexiste souvent avec un faible TA (Abstention Réelle), indiquant que l'augmentation de l'échelle seule ne résout pas l'hallucination dans les scénarios d'absence de personnalité.
Limites du SFT : L'augmentation de l'échelle des données SFT de 1K à 10K n'a pas réussi à améliorer systématiquement les scores Cal et a parfois dégradé les performances. Cela suggère que la construction de supervisions de vérité terrain de haute qualité et de domaine spécifique pour des scénarios ouverts et diversifiés est un goulot d'étranglement que le SFT ne peut pas facilement surmonter.
Compromis du RLVR : Le RLVR a considérablement amélioré le Rappel Répondable (jusqu'à +9,2 % sur Qwen-7B) en optimisant directement la correspondance perceptive et la récupération fondée. Cependant, il a induit un fort biais de réponse : les modèles sont devenus moins enclins à s'abstenir, provoquant une chute significative du TA (ex: -15,4 % sur Qwen-7B). Par conséquent, l'Exactitude Calibrée (Cal) pour les modèles entraînés par RLVR est restée au niveau ou en dessous des niveaux du modèle de base, révélant un compromis entre rappel et calibration.

Signification et Contributions

Le papier revendique les contributions suivantes :

Benchmark Omni-Persona : Le premier benchmark complet de personnalisation omnimodale qui unifie les modalités texte, image et audio et traite les cas d'absence de personnalité comme une dimension d'évaluation centrale via le Graphe de Modalités de Personnalité.
Métrique d'Exactitude Calibrée : Un nouveau cadre d'évaluation qui évalue conjointement la justesse du fondement et l'abstention appropriée, exposant les modes de défaillance (hallucination et abstention excessive) masqués par les protocoles traditionnels basés uniquement sur le rappel.
Insights Diagnostiques : L'étude fournit une carte diagnostique spécifique au modèle révélant :
- Une asymétrie constante de fondement visuel supérieur à l'audio dans les modèles open-source.
- L'insuffisance du rappel et de l'échelle de paramètres comme métriques autonomes pour la personnalisation.
- Des modes de défaillance distincts du SFT (limité par la scalabilité de la construction de données) et du RLVR (tendance vers le biais de réponse et la réduction de la calibration).

Les auteurs concluent qu'Omni-Persona sert de cadre diagnostique pour guider les recherches futures en post-entraînement et en conception de récompenses, soulignant que les méthodes actuelles peinent à équilibrer un rappel élevé avec une abstention calibrée dans des scénarios de récupération réalistes et bruités.