Sintesi Tecnica: Omni-Persona

Definizione del Problema

Sebbene i modelli linguistici di grandi dimensioni multimodali (MLLM) abbiano fatto progressi significativi nell'elaborazione di testo, immagini e audio, la ricerca sulla personalizzazione omnimodale rimane frammentata. Gli approcci esistenti sono prevalentemente limitati agli scenari visione-linguaggio, trascurando l'audio come modalità primaria della persona. Inoltre, gli attuali protocolli di valutazione soffrono di tre lacune critiche:

1. Mancanza di Copertura Unificata: I benchmark raramente integrano simultaneamente testo, immagine e audio, trattando spesso l'audio come secondario o escludendolo del tutto.
2. Scenari di Valutazione Idealizzati: La maggior parte dei benchmark assume che la persona target sia sempre presente nel contesto recuperato (rispondibile-solo), non tenendo conto del rumore di recupero del mondo reale in cui l'identità interrogata potrebbe essere assente. Ciò porta a un fallimento nel rilevare l' "allucinazione" (rispondere quando la persona è assente) o l' "over-abstention" (non rispondere quando la persona è presente).
3. Insufficienza di Rigore Diagnostico: Le metriche di recall standard confondono la capacità di grounding con la propensione del modello a rispondere, oscurando i fallimenti di calibrazione. Manca uno studio sistematico su come i regimi di post-training (Supervised Fine-Tuning vs. Reinforcement Learning) influenzino il grounding e la calibrazione omnimodale.

Metodologia: Benchmark Omni-Persona

Gli autori introducono Omni-Persona, il primo benchmark completo, dedicato esclusivamente alla valutazione, per la personalizzazione omnimodale. La metodologia si basa sui seguenti componenti:

1. Formalizzazione: Persona Modality Graph (PMG)

Il compito è formalizzato come un problema di routing cross-modale su un Persona Modality Graph ($G = (V, E)$).

• Nodi: Rappresentano una query ($Q$) e nodi di contesto recuperati ($C_1, \dots, C_K$). Ogni nodo contiene una tripla di modalità: visiva ($v$), audio ($a$) e testuale ($t$).
• Task: Il modello deve identificare il nodo di contesto rilevante $C_j$ corrispondente all'indizio della query e fondare la sua risposta nel testo $t_j$ associato. Se la persona target è assente da tutti i contesti, il modello deve astenersi.
• Contesto Raw: A differenza dei lavori precedenti che comprimono i segnali multimodali in testo, Omni-Persona utilizza contesti in forma raw (immagini e clip audio originali) per preservare indizi di identità granulari (es. timbro vocale, geometria facciale) difficili da verbalizzare.

2. Design del Benchmark

• Scala: Circa 750 item di valutazione suddivisi in 4 gruppi di task e 18 task granulari.
• Gruppi di Task:
  1. I2I (Image-to-Image): Riconoscimento dell'identità visiva.
  2. A2A (Audio-to-Audio): Riconoscimento dell'identità vocale.
  3. T2T (Text-to-Text): Recupero semantico intra-modalità.
  4. T2Any (Text-to-Any): Grounding semantico cross-modale (es. query testuale verso contesto audio/immagine).
• Valutazione dell'Assenza della Persona: Circa il 50% dei campioni sono "no-GT" (ground-truth assente), che richiedono al modello di eseguire un'astensione strutturata invece di allucinare una risposta. Sono inclusi distrattori difficili (identità visivamente o vocalmente simili) per simulare il rumore di recupero.

3. Metriche di Valutazione

Per affrontare i limiti delle metriche basate solo sulla recall, gli autori propongono la Calibrated Accuracy (Cal):
$$Cal = \frac{n_a \cdot Ans + n_u \cdot Unans}{n_a + n_u}$$
Dove:

• $Ans$: Answerable Recall (correttezza sugli item rispondibili).
• $Unans$: Unanswerable Recall (corretta astensione sugli item con persona assente).
• Metriche Anti-Allucinazione: $1-FA$ (tasso di Falsa Astensione sugli item rispondibili) e $TA$ (tasso di Vera Astensione sugli item non rispondibili) sono utilizzati per diagnosticare specifici modi di fallimento (over-abstention vs. allucinazione).

4. Analisi del Post-Training

Il paper investiga due regimi di post-training su backbone open-source (Qwen2.5-Omni, Gemma4):

• Supervised Fine-Tuning (SFT): Addestrato su dataset di 1K e 10K annotazioni ground-truth curate.
• Reinforcement Learning con Verifiable Rewards (RLVR): Addestrato senza warm-up SFT utilizzando tre componenti di reward verificabili:
  1. Percezione: Matching binario basato su regole (sì/no) per l'identità visiva/audio.
  2. Localizzazione: Selezione basata su regole dell'indice di contesto corretto.
  3. Retrieval: Verifica tramite LLM-as-a-Judge della risposta fondata o della corretta astensione.

Risultati Chiave

Gli esperimenti sono stati condotti su modelli closed-source (famiglia Gemini-3) e open-source (Qwen, Gemma, MiniCPM, Phi, Interactive-Omni).

1. Gap di Grounding Audio-Visivo: I modelli open-source mostrano un significativo divario di performance tra il grounding visivo (I2I) e quello audio (A2A), con la recall audio che resta indietro di 5–35 punti percentuali. Sebbene l'RLVR migliori la recall audio, non colma completamente il divario né risolve i problemi di calibrazione.
2. Recall e Scala sono Diagnosi Incomplete: Modelli più grandi (es. Qwen3-30B) non ottengono necessariamente punteggi Cal più alti rispetto alle varianti più piccole (es. Qwen2.5-3B). Un'alta recall spesso coesiste con una bassa True Abstention (TA), indicando che la scalabilità da sola non risolve l'allucinazione negli scenari di persona assente.
3. Limiti della SFT: Scalare i dati SFT da 1K a 10K campioni non ha migliorato costantemente i punteggi Cal e talvolta ha degradato le performance. Ciò suggerisce che la costruzione di supervisione ground-truth di alta qualità e in-domain per scenari aperti e diversificati sia un collo di bottiglia che la SFT non può facilmente superare.
4. Trade-off dell'RLVR: L'RLVR ha migliorato significativamente la Answerable Recall (fino a +9.2% su Qwen-7B) ottimizzando direttamente il matching percettivo e il retrieval fondato. Tuttavia, ha indotto un forte bias di risposta (answer-bias): i modelli sono diventati meno propensi ad astenersi, causando un calo significativo della TA (es. -15.4% su Qwen-7B). Di conseguenza, la Calibrated Accuracy (Cal) per i modelli addestrati con RLVR è rimasta ai livelli o al di sotto dei modelli base, rivelando un trade-off tra recall e calibrazione.

Significato e Contributi

Il paper rivendica i seguenti contributi:

1. Benchmark Omni-Persona: Il primo benchmark completo per la personalizzazione omnimodale che unifica le modalità testo, immagine e audio e tratta i casi di persona assente come una dimensione centrale di valutazione tramite il Persona Modality Graph.
2. Metrica di Calibrated Accuracy: Un nuovo framework di valutazione che valuta congiuntamente la correttezza del grounding e la appropriata astensione, esponendo i modi di fallimento (allucinazione e over-abstention) mascherati dai protocolli tradizionali basati solo sulla recall.
3. Insight Diagnostici: Lo studio fornisce una mappa diagnostica specifica per il modello che rivela:
   • Un consistente' asimmetria di grounding visivo-su-audio nei modelli open-source.
   • L'insufficienza della recall e della scala dei parametri come metriche standalone per la personalizzazione.
   • Modi di fallimento distinti della SFT (limitata dalla scalabilità della costruzione dei dati) e dell'RLVR (tendenza verso l'answer-bias e riduzione della calibrazione).

Gli autori concludono che Omni-Persona funge da framework diagnostico per guidare la ricerca futura nel post-training e nel design dei reward, evidenziando come gli attuali metodi fatichino a bilanciare l'alta recall con l'astensione calibrata in scenari di recupero realistici e rumorosi.