Technische Samenvatting: OmniSapiens: Een Foundation Model voor Sociale Gedragsverwerking via Heterogeniteit-bewuste Relatieve Beleidsoptimalisatie

1. Probleemstelling

Sociale intelligente AI-systemen vereisen het vermogen om te redeneren over diverse menselijke gedragstaken en te generaliseren naar nieuwe sociale contexten. Bestaande AI-systemen zijn echter overwegend gespecialiseerd in enkelvoudige gedragstaken (bijv. sentimentanalyse of emotieherkenning), en missen uniforme modellen die effectief kunnen generaliseren over diverse gedragscontexten.

De primaire uitdaging bij het ontwikkelen van uniforme gedragsmodellen is de inherente heterogeniteit van gedragsdata. Deze data beslaat verschillende soorten kenmerken (bijv. akoestische prosodie, interpersoonlijke interactie, tekst, visie) en voorspellingsdoelen (bijv. emotieclassificatie, sociale inferentie, detectie van pathologische staten). Deze heterogeniteit produceert ongelijkmatige trainingssignalen over samples, wat leidt tot ongebalanceerde leerdynamiek.

Huidige uniforme modellen maken vaak gebruik van Reinforcement Learning (RL)-methoden zoals Group Relative Policy Optimization (GRPO) om redeneren te verbeteren. Deze methoden aggregeren beleidsupdates over heterogene samples zonder de discrepanties in hun leerdynamiek expliciet te reguleren. Bij consequent leiden deze methoden ertoe dat de optimalisatie onevenredig wordt gedomineerd door specifieke gedragstaken of samples met systematisch verhoogde advantage-magnitudes, wat multitaskprestaties en cross-contextuele generalisatie belemmert.

2. Methodologie

2.1 Modelarchitectuur: OmniSapiens-7B 2.0

De auteurs introduceren OMNISAPIENS-7B 2.0, een foundation model voor uniforme sociale gedragsanalyse.

• Backbone: Het model maakt gebruik van Qwen 2.5 Omni-7B als de multimodale basisarchitectuur, in staat om tekst-, visie- en audio-inputs te verwerken.
• Trainingsopstelling: Het is getraind op de Human Behavior Atlas benchmark, die meer dan 100.000 samples beslaat over 10 diverse gedragstaken: Sentiment (SEN), Emotieherkenning (EMO), Sociaal Redeneren (SOC), Intentieherkenning (INT), Non-verbale Communicatie (NVC), Humor (HUM), Sarcasme (SAR), Angst (ANX), Depressie (DEP) en PTSD (PTSD).
• Doel: Een enkel gedeeld beleid $\pi_\theta$ wordt getraind om de prestaties over alle taken simultaan te maximaliseren.

2.2 Kernalgoritme: Heterogeneity-Aware Relative Policy Optimization (HARPO)

Om de onbalans in leersignalen aan te pakken, stelt het artikel HARPO voor, een critic-vrije, on-policy RL-methode. HARPO modificeert de standaard GRPO-objectief door leersignalen dynamisch te herbalanceren over heterogene samples en taken.

Kernmechanismen van HARPO:

1. Approximatie van het Bijdrage-signaal:
   Omdat beleidsgradiënten worden geschaald door advantage-waarden, dient de magnitude van de advantages als een proxy voor de bijdrage van een sample aan de beleidsupdate. HARPO berekent bijdragesignalen op twee niveaus:

   • Sample-niveau ($p^{(t)}_{(m,q)}$): De gemiddelde absolute groep-genormaliseerde advantage voor een specifieke sample $q$ binnen taak $m$.
   • Taak-niveau ($p^{(t)}_m$): De gemiddelde absolute groep-genormaliseerde advantage over alle samples voor taak $m$.

2. Geometrisch Gecentreerde Modulatie:
   Om te voorkomen dat een enkele taak of sample de update onevenredig beïnvloedt, schaalt HARPO de advantages op basis van hun afwijking van een geometrisch gemiddelde referentie.

   • Een geometrische gemiddelde referentie ($\bar{p}^{(t)}_{ref,m}$ voor samples, $\bar{p}^{(t)}_{ref,M}$ voor taken) wordt berekend.
   • Modulatiefactoren ($s^{(t)}_{(m,q)}$ en $s^{(t)}_m$) worden afgeleid als de reciproque van de ratio tussen het bijdragesignaal en het geometrische gemiddelde.
   • Effect: Samples of taken met bijdragesignalen boven de referentie ontvangen factoren $<1$ (downscaling), terwijl die onder de referentie factoren $>1$ ontvangen (upscaling).
   • Stabiliteit: Omdat de factoren zijn geconstrueerd vanuit een geometrisch gemiddelde, is hun geometrisch gemiddelde exact 1. Dit zorgt ervoor dat multiplicatieve opschaling exact wordt gecompenseerd door downscaling, waardoor onbedoelde veranderingen in de globale stapgrootte worden voorkomen.
   • Stabiliteit: Omdat de factoren zijn geconstrueerd vanuit een geometrisch gemiddelde, is hun geometrisch gemiddelde exact 1. Dit zorgt ervoor dat multiplicatieve opschaling exact wordt gecompenseerd door downscaling, waardoor onbedoelde veranderingen in de globale stapgrootte worden voorkomen.

3. Inertial Smoothing (Traagheidsafvlakking):
   Om stabiliteit te garanderen en te reageren op persistente trends in plaats van stochastische on-policy fluctuaties, worden de bijdragesignalen en modulatiefactoren bijgewerkt met behulp van inertial control:

   • Bijdragesignalen gebruiken een Exponential Moving Average (EMA).
   • Modulatiefactoren (als multiplicatieve ratio's) worden gladgestreken via multiplicatieve updates.

Objectieffunctie:
HARPO behoudt de PPO-stijl trust-region objectief van GRPO, maar vervangt de standaard groep-genormaliseerde advantage $\hat{A}$ door de HARPO-gemoduleerde advantage $A^H$:
$$A^H_{(m,q,i)} = s^{(t)}_{(m,q)} \cdot s^{(t)}_m \cdot \hat{A}^{(t)}_{(m,q,i)}$$

2.3 Beloningsontwerp (Reward Design)

Het model wordt getraind met een samengestelde beloningsfunctie $r$:
$$r = (1 - w_{fmt}) r_{task} + w_{fmt} r_{fmt} + \lambda_{len} r_{len}$$

• $r_{task}$: Binaire beloning voor exacte labelovereenkomst (classificatie) of cosinus-gelijkenis voor free-text QA.
• $r_{fmt}$: Binaire beloning voor het naleven van de vereiste outputstructuur (redeneerspoor gevolgd door voorspelling).
• $r_{len}$: Straf voor excessieve responslengte.

3. Belangrijkste Bijdragen

1. OmniSapiens-7B 2.0: De release van een uniform foundation model dat in staat is om gezamenlijk een breed scala aan gedragsanalyse-taken aan te pakken die variëren in affectieve, cognitieve, pathologische en sociale dimensies.
2. HARPO: De introductie van een nieuwe RL-methode die specifiek is ontworate om te leren van heterogene gedragsdata door leersignalen te herbalanceren zonder een critic netwerk.
3. Interpreteerbaarheid: Het model produceert interpreteerbaardere redeneersporen, wat de transparantie en betrouwbaarheid voor real-world toepassingen verbetert.

4. Experimentele Resultaten

4.1 Multitask Prestaties

Geëvalueerd over 10 gedragstaken, behaalde OmniSapiens-7B 2.0 de beste en meest consistente prestaties vergeleken met:

• Algemene LLM's: (bijv. Gemma-4, Qwen-2.5-Omni).
• Gespecialiseerde gedermodellen: (bijv. HumanOmniV2, eerdere OmniSapiens varianten).
• RL-algoritmen: Presteerde beter dan GRPO, RLOO, RE++, GPG en EMAGRPO.

Belangrijke Metrieken:

• Behaalde de hoogste gemiddelde taakprestatie rang (1.90) van alle modellen.
• Verbeterde de prestaties met wel +12.02% ten opzien van eerdere state-of-the-art modellen.
• Toonde robuustheid waar andere methoden (zoals GRPO) prestatie-instorting vertoonden op specifieke taken (bijv. sarcasmedetectie).

4.2 Zero-Shot Generalisatie

Het model werd geëvalueerd op vijf uitgesloten gedragsbenchmarks (Autisme Detectie, Spraak-Emotieherkenning, In-the-wild Depressie Herkenning, Social Media Sentiment, Sarcasme Incongruentie) zonder fine-tuning.

• OmniSapiens-7B 2.0 presteerde beter dan alle baselines op alle vijf de uitgesloten taken.
• Winsten bereikten tot wel +9.37% vergeleken met eerdere modellen.
• Dit suggereert dat het model overdraagbare gedragsfeatures leert die generaliseren buiten de trainingsdistributie.

4.3 Interpreteerbaarheid van Redeneersporen

Het artikel evalueert de kwaliteit van de redeneersporen met behulp van XAI-desiderata:

• Robuustheid: Behaalde de hoogste consistentie (87.7%) over onafhankelijk gesamplede sporen en parafraas-variaties (88.4%).
• Efficiëntie: Genereerde aanzienlijk compactere redeneersporen (19.86 tokens) vergeleken met baselines (bijv. 57.69 tokens voor OmniSapiens-7B RL).
• Menselijke Evaluatie: In paarvergelijkingen werd OmniSapiens-7B 2.0 geprefereerd of gelijkgesteld aan baselines in 99.2% van de gevallen voor compactheid, 88.3% voor coherentie en 78.9% voor specificiteit.

4.4 Ablatie-studies

• Gestructureerde Modulatie: Het verwijderen van de geometrische referentie (gebruik van eenvoudige reciproke schaling) degradeerde de prestaties (Gemiddelde Rang 2.00 vs 1.90), wat de noodzaak van geometrische centrering bevestigt om verstoring van de globale stapgrootte te voorkomen.
• Inertial Control: Het verwijderen van inertial smoothing degradeerde de prestaties aanzienlijk (Gemiddelde Rang 2.70), vooral voor taken met fluctuerende bijdragesignalen (bijv. Sarcasme, Sentiment).
• Sample-niveau Modulatie: Het verwijderen van sample-niveau modulatie (alleen taak-niveau) degradeerde de prestaties (Gemiddelde Rang 2.60), wat wijst op de noodzaak om signalen op het niveau van individuele samples te balanceren om extreme advantage-waarden te onderdrukken.

5. Betekenis en Claims

Het artikel claimt dat OmniSapiens-7B 2.0 een belangrijke stap vormt naar uniforme sociale gedragsanalyse. Door heterogene leersignalen expliciet te modelleren via HARPO, overwint het model de beperkingen van bestaande uniforme benaderingen die worden gehinderd door ongebalanceerde leerdynamiek.

De auteurs stellen dat hun werk:

• Potentiële toepassingen ontsluit in affectieve computing, gedragsgezondheid en sociaal intelligente AI-systemen, met name in omgevingen waar gedragsdata schaars is en modelinterpreteerbaarheid cruciaal is.
• Aantoont dat het beschermen van zwakkere, structureel betekenisvolle signalen (via HARPO) foundation modellen in staat stelt om latente sociale en gedragsstructuren effectiever te coderen.
• Een betrouwbaar framework biedt voor real-world gedragsapplicaties door redeneersporen te genereren die niet alleen accuraat zijn, maar ook robuust, efficiënt en interpreteerbaar.

Het werk suggereert dat toekomstige sociale gedrags-foundation modellen baat kunnen hebben bij het expliciet adresseren van de heterogeniteit van leersignalen, in plaats van alle taken en samples uniform te behandelen.