Riepilogo Tecnico: OmniSapiens: Un Modello di Fondazione per l'Elaborazione del Comportamento Sociale tramite l'Ottimizzazione della Politica Relativa Consapevole dell'Eterogeneità

1. Definizione del Problema

I sistemi di IA socialmente intelligenti richiedono la capacità di ragionare attraverso diverse attività comportamentali umane e di generalizzare in nuovi contesti sociali. Tuttavia, gli attuali sistemi di IA sono prevalentemente specializzati in singole attività comportamentali (ad esempio, analisi del sentiment o riconoscimento delle emozioni), mancando di modelli unificati che possano generalizzare efficacemente attraverso diversi contesti comportamentali.

La sfida primaria nello sviluppo di modelli unificati del comportamento sociale è l'eterogeneità intrinseca dei dati comportamentali. Questi dati spaziano tra tipi di caratteristiche distinte (ad esempio, prosodia acustica, interazione interpersonale, testo, visione) e target di previsione (ad esempio, classificazione delle emozioni, inferenza sociale, rilevamento di stati patologici). Questa eterogeneità produce segnali di addestramento non uniformi tra i campioni, portando a dinamiche di apprendimento sbilanciate.

Gli attuali modelli unificati impiegano spesso metodi di Reinforcement Learning (RL) come il Group Relative Policy Optimization (GRPO) per migliorare il ragionamento. Tuttavia, questi metodi aggregano gli aggiornamenti della politica attraverso campioni eterogenei senza regolare esplicitamente le disparità nelle loro dinamiche di apprendimento. Di conseguenza, l'ottimizzazione può essere sproporzionatamente dominata da specifici compiti comportamentali o campioni con magnitudo di vantaggio sistematicamente elevati, ostacolando le prestazioni multitaread e la generalizzazione cross-context.

2. Metodologia

2.1 Architettura del Modello: OmniSapiens-7B 2.0

Gli autori introducono OMNISAPIENS-7B 2.0, un modello di fondazione per l'analisi unificata del comportamento sociale.

• Backbone: Il modello utilizza Qwen 2.5 Omni-7B come architettura di base multimodale, capace di elaborare input di testo, visione e audio.
• Configurazione di Addestramento: È addestrato sul benchmark Human Behavior Atlas, che copre oltre 100.000 campioni in 10 diverse attività comportamentali: Sentiment (SEN), Riconoscimento delle Emozioni (EMO), Ragionamento Sociale (SOC), Riconoscimento dell'Intento (INT), Comunicazione Non Verbale (NVC), Umorismo (HUM), Sarcasmo (SAR), Ansia (ANX), Depressione (DEP) e PTSD (PTSD).
• Obiettivo: Una singola politica condivisa $\pi_\theta$ viene addestrata per massimizzare le prestazioni in tutti i compiti simultaneamente.

2.2 Algoritmo Core: Heterogeneity-Aware Relative Policy Optimization (HARPO)

Per affrontare lo squilibrio nei segnali di apprendimento, l'articolo propone HARPO, un metodo RL on-policy privo di critic. HARPO modifica lo standard dell'obiettivo GRPO riequilibrando dinamicamente i segnali di apprendimento tra campioni e compiti eterogenei.

Meccanismi Chiave di HARPO:

1. Approssimazione del Segnale di Contributo:
   Poiché i gradienti della politica sono scalati dai valori di vantaggio, la magnitudo degli advantage funge da proxy per il contributo di un campione all'aggiornamento della politica. HARPO calcola i segnali di contributo a due livelli:

   • Livello di Campione ($p^{(t)}_{(m,q)}$): La media del valore assoluto del vantaggio normalizzato per gruppo per un particolare campione $q$ all'interno del compito $m$.
   • Livello di Compito ($p^{(t)}_m$): La media del valore assoluto del vantaggio normalizzato per gruppo attraverso tutti i campioni per il compito $m$.

2. Modulazione Centrata Geometricamente:
   Per evitare che un singolo compito o campione influenzi sproporzionatamente l'aggiornamento, HARPO scala gli advantage basandosi sulla loro deviazione da un riferimento di media geometrica.

   • Viene calcolato un riferimento di media geometrica ($\bar{p}^{(t)}_{ref,m}$ per i campioni, $\bar{p}^{(t)}_{ref,M}$ per i compiti).
   • I fattori di modulazione ($s^{(t)}_{(m,q)}$ e $s^{(t)}_m$) sono derivati come il reciproco del rapporto tra il segnale di contributo e la media geometrica.
   • Effetto: I campioni o i compiti con segnali di contributo sopra il riferimento ricevono fattori $<1$ (ridimensionamento), mentre quelli s sotto ricevono fattori $>1$ (incremento).
   • Stabilità: Poiché i fattori sono costruiti da una media geometrica, la loro media geometrica è esattamente 1. Ciò assicura che l'upscaling moltiplicativo sia esattamente compensato dal downscaling, prevenendo cambiamenti non intenzionali alla dimensione globale del passo (step size).

3. Smoothing Inerziale:
   Per garantire la stabilità e rispondere a trend persistenti piuttosto che a fluttuazioni stocastiche on-policy, i segnali di contributo e i fattori di modulazione vengono aggiornati utilizzando il controllo inerziale:

   • I segnali di contributo utilizzano una Media Mobile Esponenziale (EMA).
   • I fattori di modulazione (essendo rapporti moltiplicativi) vengono smussati tramite aggiornamenti moltiplicativi.

Funzione Obiettivo:
HARPO mantiene l'obiettivo di regione di fiducia in stile PPO di GRPO ma sostituisce lo standard advantage $\hat{A}$ normalizzato per gruppo con l'advantage modulato da HARPO $A^H$:
$$A^H_{(m,q,i)} = s^{(t)}_{(m,q)} \cdot s^{(t)}_m \cdot \hat{A}^{(t)}_{(m,q,i)}$$

2.3 Design della Reward

Il modello è addestrato con una funzione di reward composita $r$:
$$r = (1 - w_{fmt}) r_{task} + w_{fmt} r_{fmt} + \lambda_{len} r_{len}$$

• $r_{task}$: Reward binaria per l'esatta corrispondenza dell'etichetta (classificazione) o similarità del coseno per la QA a testo libero.
• $r_{fmt}$: Reward binaria per l'adesione alla struttura di output richiesta (traccia di ragionamento seguita dalla previsione).
• $r_{len}$: Penalità per la lunghezza eccessiva della risposta.

3. Contributi Chiave

1. OmniSapiens-7B 2.0: Il rilascio di un modello di fondazione unificato capace di affrontare congiuntamente un'ampia gamma di compiti di analisi comportamentale che spaziano tra dimensioni affettive, cognitive, patologiche e sociali.
2. HARPO: L'introduzione di un nuovo metodo di RL progettato specificamente per apprendere da dati comportamentali eterogenei riequilibrando i segnali di apprendimento senza una rete critic.
3. Interpretabilità: Il modello produce tracce di ragionamento più interpretabili, migliorando la trasparenza e l'affidabilità per le applicazioni nel mondo reale.

4. Risultati Sperimentali

4.1 Prestazioni Multitask

Valutato su 10 compiti comportamentali, OmniSapiens-7B 2.0 ha ottenuto le prestazioni migliori e più consistenti rispetto a:

• LLM general-purpose: (es. Gemma-4, Qwen-2.5-Omni).
• Modelli comportamentali specializzati: (es. HumanOmniV2, varianti precedenti di OmniSapiens).
• Algoritmi di RL: Ha superato GRPO, RLOO, RE++, GPG ed EMAGRPO.

Metriche Chiave:

• Ha raggiunto il rango medio di prestazione del compito più alto (1.90) tra tutti i modelli.
• Ha migliorato le prestazioni fino al +12.02% rispetto ai precedenti modelli allo stato dell'arte.
• Ha dimostrato robustezza laddove altri metodi (come GRPO) hanno mostrato un collasso delle prestazioni su compiti specifici (es. rilevamento del sarcasmo).

4.2 Generalizzazione Zero-Shot

Il modello è stato valutato su cinque benchmark comportamentali non inclusi nell'addestramento (Rilevamento dell'Autismo, Riconoscimento delle Emozioni nel Discorso, Riconoscimento della Depressione "In-the-wild", Sentiment sui Social Media, Incongruenza del Sarcasmo) senza fine-tuning.

• OmniSapiens-7B 2.0 ha superato tutti i baseline su tutti e cinque i compiti tenuti fuori.
• I guadagni hanno raggiunto fino al +9.37% rispetto ai modelli precedenti.
• Ciò suggerisce che il modello apprende caratteristiche comportamentali trasferibili che generalizzano oltre la distribuzione di addestramento.

4.3 Interpretabilità della Traccia di Ragionamento

L'articolo valuta la qualità delle tracce di ragionamento utilizzando i desiderata XAI:

• Robustezza: Ha raggiunto la massima coerenza (87.7%) tra tracce campionate indipendentemente e variazioni di parafrasi (88.4%).
• Efficienza: Ha generato tracce di ragionamento significativamente più concise (19.86 token) rispetto ai baseline (es. 57.69 token per OmniSapiens-7B RL).
• Valutazione Umana: Nelle comparazioni a coppie, OmniSapiens-7B 2.0 è stato preferito o pari ai baseline nel 99.2% dei casi per la concisione, nell'88.3% per la coerenza e nel 78.9% per la specificità.

4.4 Studi di Ablazione

• Modulazione Strutturata: Rimuovere il riferimento geometrico (usando una semplice scalatura reciproca) ha degradato le prestazioni (Rango Medio 2.00 vs 1.90), confermando la necessità della centratura geometrica per prevenire la distorsione della dimensione globale del passo.
• Controllo Inerziale: Rimuovere lo smoothing inerziale ha degradato significativamente le prestazioni (Rango Medio 2.70), particolarmente per i compiti con segnali di contributo fluttuanti (es. Sarcasmo, Sentiment).
• Modulazione a Livello di Campione: Rimuovere la modulazione a livello di campione (solo a livello di compito) ha degradato le prestazioni (Rango Medio 2.60), indicando la necessità di bilanciare i segnali a livello del singolo campione per sopprimere i valori di vantaggio estremi.

5. Significato e Claim

L'articolo sostiene che OmniSapiens-7B 2.0 rappresenti un passo significativo verso l'analisi unificata del comportamento sociale. Attraverso HARPO, che modella esplicitamente l'eterogeneità dei segnali di apprendimento, il modello supera i limiti degli approoli unificati esistenti che sono vincolati da dinamiche di apprendimento sbilanciate.

Gli autori affermano che il loro lavoro:

• Sblocca potenziali applicazioni nell'informatica affettiva, nella salute comportamentale e nei sistemi di IA socialmente intelligenti, particolarmente in contesti dove i dati comportamentali sono scarsi e l'interpretabilità del modello è critica.
• Dimostra che proteggere i segnali più deboli e strutturalmente significativi (tramite HARPO) permette ai modelli di fondazione di codificare più efficacemente le strutture sociali e comportamentali latenti.
• Fornisce un framework affidabile per applicazioni comportamentali nel mondo reale, generando tracce di ragionamento che non sono solo accurate, ma anche robuste, efficienti e interpretabili.

Il lavoro suggerisce che i futuri modelli di fondazione del comportamento sociale potrebbero beneficiare dell'indirizzamento esplicito dell'eterogeneità dei segnali di apprendimento piuttosto che trattare tutti i compiti e i campioni in modo uniforme.