Technische Samenvatting: Omni-Persona

Probleemstelling

Hoewel multimodale grote taalmodellen (MLLM's) aanzienlijk zijn geëvolueerd in het verwerken van tekst, afbeeldingen en audio, blijft onderzoek naar omnimodale personalisatie gefragmenteerd. Bestaande benaderingen zijn voornamelijk beperkt tot visuele-taalinstellingen, waarbij audio als primaire persona-modaliteit wordt verwaarloosd. Bovendien lijden huidige evaluatieprotocollen aan drie kritieke tekortkomingen:

1. Gebrek aan een verenigde dekking: Benchmarks integreren zelden tekst, afbeelding en audio tegelijkertijd, waarbij audio vaak als secundair wordt behandeld of volledig wordt uitgesloten.
2. Geïdealiseerde evaluatiesettings: De meeste benchmarks gaan ervan uit dat de doel-persona altijd aanwezig is in de opgehaalde context (alleen beantwoordbaar), waarbij geen rekening wordt gehouden met realistische retrieval-ruis waarbij de gezochte identiteit afwezig kan zijn. Dit leidt tot een falen in het detecteren van "hallucinatie" (antwoorden wanneer de persona ontbreekt) of "overmatige onthouding" (niet antwoorden wanneer de persona aanwezig is).
3. Onvoldoende diagnostische strengheid: Standaard recall-metrieken confonteren het vermogen tot gronding met de bereidheid van het model om te antwoorden, waardoor kalibratiefouten worden verhuld. Er is een gebrek aan systematische studie naar hoe post-training regimes (Supervised Fine-Tuning versus Reinforcement Learning) de omnimodale gronding en kalibratie beïnvloeden.

Methodologie: Omni-Persona Benchmark

De auteurs introduceren Omni-Persona, de eerste uitgebreide, louter voor evaluatie bedoelde benchmark voor omnimodale personalisatie. De methodologie is gebouwd op de volgende componenten:

1. Formalisering: Persona Modality Graph (PMG)

De taak wordt geformaliseerd als een cross-modaal routeringsprobleem over een Persona Modality Graph ($G = (V, E)$).

• Knopen: Vertegenwoordigen een query ($Q$) en opgehaalde context-knopen ($C_1, \dots, C_K$). Elke knoop bevat een triplet van modaliteiten: visueel ($v$), audio ($a$) en tekstueel ($t$).
• Taak: Het model moet de relevante context-knoop $C_j$ identificeren die overeenkomt met de query-cue en de respons funderen in de bijbehorende tekst $t_j$. Als de doel-persona afwezig is in alle contexten, moet het model zich onthouden van een antwoord.
• Ruwe Context: In tegenstelling tot eerdere werken die multimodale signalen comprimeren tot tekst, maakt Omni-Persona gebruik van ruwe contextvormen (originele afbeeldingen en audiofragmenten) om fijnmazige identiteitskenmerken (bijv. stemtimbre, gezichtsgeometrie) te behouden die moeilijk te verbaliseren zijn.

2. Benchmark Design

• Schaal: Ongeveer 750 evaluatie-items verspreid over 4 taakgroepen en 18 fijnmazige taken.
• Taakgroepen:
  1. I2I (Image-to-Image): Visuele identiteitsherkenning.
  2. A2A (Audio-to-Audio): Stemidentiteitsherkenning.
  3. T2T (Text-to-Text): Intra-modale semantische retrieval.
  4. T2Any (Text-to-Any): Cross-modale semantische gronding (bijv. tekstuele query naar audio/afbeelding context).
• Afwezige-Persona Evaluatie: Ongeveer 50% van de samples zijn "no-GT" (ground-truth afwezig), wat vereist dat het model een gestructureerde onthouding uitvoert in plaats van een antwoord te hallucineren. Moeilijke distractoren (visueel of vocaal gelijkaardige identiteiten) zijn opgenomen om retrieval-ruis te simuleren.

3. Evaluatiemetrieken

Om de beperkingen van recall-only metrieken aan te pakken, stellen de auteurs Calibrated Accuracy (Cal) voor:
$$Cal = \frac{n_a \cdot Ans + n_u \cdot Unans}{n_a + n_u}$$
Waarbij:

• $Ans$: Answerable Recall (juistheid op beantwoordbare items).
• $Unans$: Unanswerable Recall (correcte onthouding op items zonder persona).
• Anti-hallucinatie metrieken: $1-FA$ (Rate van valse onthouding op beantwoordbare items) en $TA$ (True Abstention rate op onbeantwoordbare items) worden gebruikt om specifieke foutmodi te diagnosticeren (overmatige onthouding versus hallucinatie).

4. Post-Training Analyse

Het artikel onderzoekt twee post-training regimes op open-source backbones (Qwen2.5-Omni, Gemma4):

• Supervised Fine-Tuning (SFT): Getraind op 1K en 10K datasets van gecureerde ground-truth annotaties.
• Reinforcement Learning with Verifiable Rewards (RLVR): Getraind zonder SFT warm-up met drie verifieerbare beloningscomponenten:
  1. Perceptie: Regelgebaseerde binaire matching (ja/nee) voor visuele/audio identiteit.
  2. Locatie: Regelgebaseerde selectie van de correcte context-index.
  3. Retrieval: LLM-as-a-Judge verificatie van gegronde antwoorden of correcte onthouding.

Belangrijkste Resultaten

Experimenten werden uitgevoerd op closed-source (Gemini-3 familie) en open-source modellen (Qwen, Gemma, MiniCPM, Phi, Interactive-Omni).

1. Audio-Visuele Grondingskloof: Open-source modellen vertonen een aanzienlijke prestatiekloof tussen visuele (I2I) en audio (A2A) gronding, waarbij de audio-recall 5–35 procentpunten achterloopt. Hoewel RLVR de audio-recall verbetert, sluit het de kloof niet volledig en lost het de kalibratieproblemen niet op.
2. Recall en Schaal zijn Incomplete Diagnostiek: Grotere modellen (bijv. Qwen3-30B) behalen niet noodzakelijkerwijs hogere Cal-scores dan kleinere varianten (bijv. Qwen2.5-3B). Een hoge recall gaat vaak samen met een lage True Abstention (TA), wat aangeeft dat schaling alleen de hallucinatie in scenario's met een afwezige persona niet oplost.
3. SFT Beperkingen: Het schalen van SFT-data van 1K naar 10K samples slaagde er niet in om consequent Cal-scores te verbeteren en verslechterde soms de prestaties. Dit suggereert dat het construeren van hoogwaardige, in-domain ground-truth supervisie voor diverse open-ended scenario's een bottleneck is die SFT niet gemakkelijk kan overwinnen.
4. RLVR Trade-offs: RLVR verbeterde de Answerable Recall aanzienlijk (tot +9.2% op Qwen-7B) door direct te optimaliseren voor perceptuele matching en gegronde retrieval. Echter, het induceerde een sterke antwoord-bias: modellen werden minder geneigd tot onthouding, waardoor TA aanzienlijk daalde (bijv. -15.4% op Qwen-7B). Bijgevolg bleef de Calibrated Accuracy (Cal) voor RLVR-getrainde modellen op of zelfs onder het niveau van de basismodellen, wat de recall-kalibratie trade-off onthult.

Betekenis en Bijdragen

Het artikel claimt de volgende bijdragen:

1. Omni-Persona Benchmark: De eerste uitgebreide benchmark voor omnimodale personalisatie die tekst, afbeelding en audio verenigt en afwezige-persona gevallen behandelt als een kernaspect van de evaluatie via de Persona Modality Graph.
2. Calibrated Accuracy Metriek: Een nieuw evaluatiekader dat zowel de juistheid van de gronding als de gepaste onthouding beoordeelt, waardoor foutmodi (hallucinatie en overmatige onthouding) worden blootgelegd die door traditionele recall-only protocollen worden gemaskeerd.
3. Diagnostische Inzichten: De studie biedt een model-specifieke diagnostische kaart die onthult:
   • Een consistente visuele-over-audio grondingsasymmetrie in open-source modellen.
   • De onvoldoendeheid van recall en parameter-schaal als zelfstandige metrieken voor personalisatie.
   • Distinctieve foutmodi van SFT (beperkt door de schaalbaarheid van dataconstructie) en RLVR (neiging tot antwoord-bias en verminderde kalibratie).

De auteurs concluderen dat Omni-Persona dient als een diagnostisch kader om toekomstig onderzoek naar post-training en reward design te sturen, waarbij wordt benadrukt dat huidige methoden moeite hebben met het balanceren van een hoge recall met gekalibreerde onthouding in realistische, ruisgevoelige retrieval-scenario's.