Résumé Technique : OmniSapiens : Un modèle de fondation pour le traitement du comportement social via l'optimisation de politique relative sensible à l'hétérogénéité

1. Énoncé du Problème

Les systèmes d'IA socialement intelligents nécessitent la capacité de raisonner à travers diverses tâches de comportement humain et de se généraliser à de nouveaux contextes sociaux. Cependant, les systèmes d'IA existants sont principalement spécialisés pour des tâches comportementales uniques (par exemple, l'analyse de sentiment ou la reconnaissance des émotions), manquant de modèles unifiés capables de se généraliser efficacement à travers divers contextes comportementaux.

Le défi principal du développement de modèles de comportement social unifiés réside dans l'hétérogénéité inhérente des données comportementales. Ces données couvrent des types de caractéristiques distincts (par exemple, la prosodie acoustique, l'interaction interpersonnelle, le texte, la vision) et des cibles de prédiction (par exemple, la classification des émotions, l'inférence sociale, la détection d'états pathologiques). Cette hétérogénéité produit des signaux d'entraînement inégaux entre les échantillons, entraînant des dynamiques d'apprentissage déséquilibrées.

Les modèles unifiés actuels emploient souvent des méthodes d'apprentissage par renforcement (RL) comme le Group Relative Policy Optimization (GRPO) pour améliorer le raisonnement. Cependant, ces méthodes agrègent les mises à jour de politique à travers des échantillons hétérogènes sans réguler explicitement les disparités de leurs dynamiques d'apprentissage. Par conséquent, l'optimisation peut être disproportionnellement dominée par des tâches comportementales spécifiques ou des échantillons présentant des magnitudes d'avantage systématiquement élevées, entravant la performance multitâche et la généralisation inter-contextuelle.

2. Méthodologie

2.1 Architecture du Modèle : OmniSapiens-7B 2.0

Les auteurs présentent OMNISAPIENS-7B 2.0, un modèle de fondation pour l'analyse unifiée du comportement social.

• Backbone : Le modèle utilise Qwen 2.5 Omni-7B comme architecture de base multimodale, capable de traiter des entrées textuelles, visuelles et audio.
• Configuration d'entraînement : Il est entraîné sur le benchmark Human Behavior Atlas, couvrant plus de 100 000 échantillons à travers 10 tâches comportementales diverses : Sentiment (SEN), Reconnaissance des Émotions (EMO), Raisonnement Social (SOC), Reconnaissance d'Intention (INT), Communication Non-Verbale (NVC), Humour (HUM), Sarcasme (SAR), Anxiété (ANX), Dépression (DEP) et PTSD (PTSD).
• Objectif : Une politique partagée unique $\pi_\theta$ est entraînée pour maximiser les performances sur toutes les tâches simultanément.

2.2 Algorithme Central : Heterogeneity-Aware Relative Policy Optimization (HARPO)

Pour remédier au déséquilibre des signaux d'apprentissage, l'article propose HARPO, une méthode de RL on-policy sans critique. HARPO modifie l'objectif standard de GRPO en rééquilibrant dynamiquement les signaux d'apprentissage à travers les échantillons et les tâches hétérogènes.

Mécanismes Clés de HARPO :

1. Approximation du Signal de Contribution :
   Puisque les gradients de politique sont mis à l'échelle par les valeurs d'avantage, la magnitude des avantages sert de proxy pour la contribution d'un échantillon à la mise à jour de la politique. HARPO calcule les signaux de contribution à deux niveaux :

   • Niveau échantillon ($p^{(t)}_{(m,q)}$) : L'avantage moyen absolu normalisé par groupe pour un échantillon spécifique $q$ au sein de la tâche $m$.
   • Niveau tâche ($p^{(t)}_m$) : L'avantage moyen absolu normalisé par groupe à travers tous les échantillons pour la tâche $m$.

2. Modulation Centrée Géométriquement :
   Pour empêcher qu'une seule tâche ou un seul échantillon n'influence de manière disproportionnée la mise à jour, HARPO met à l'échelle les avantages en fonction de leur écart par rapport à une référence de moyenne géométrique.

   • Une référence de moyenne géométrique ($\bar{p}^{(t)}_{ref,m}$ pour les échantillons, $\bar{p}^{(t)}_{ref,M}$ pour les tâches) est calculée.
   • Les facteurs de modulation ($s^{(t)}_{(m,q)}$ et $s^{(t)}_m$) sont dérivés comme l'inverse du ratio entre le signal de contribution et la moyenne géométrique.
   • Effet : Les échantillons ou tâches dont les signaux de contribution sont au-dessus de la référence reçoivent des facteurs $<1$ (réduction d'échelle), tandis que ceux en dessous reçoivent des facteurs $>1$ (augmentation d'échelle).
   • Stabilité : Comme les facteurs sont construits à partir d'une moyenne géométrique, leur moyenne géométrique est exactement égale à 1. Cela garantit que l'augmentation d'échelle multiplicative est exactement compensée par la réduction d'échelle, évitant ainsi tout changement involontaire de la taille de pas globale.

3. Lissage Inertiel :
   Pour assurer la stabilité et répondre aux tendances persistantes plutôt qu'aux fluctuations stochastiques on-policy, les signaux de contribution et les facteurs de modulation sont mis à jour via un contrôle inertiel :

   • Les signaux de contribution utilisent une moyenne mobile exponentielle (EMA).
   • Les facteurs de modulation (étant des ratios multiplicatifs) sont lissés via des mises à jour multiplicatives.

Fonction Objective :
HARPO conserve l'objectif de région de confiance de type PPO de GRPO mais substitue l'avantage standard normalisé par groupe $\hat{A}$ par l'avantage modulé par HARPO $A^H$ :
$$A^H_{(m,q,i)} = s^{(t)}_{(m,q)} \cdot s^{(t)}_m \cdot \hat{A}^{(t)}_{(m,q,i)}$$

2.3 Conception de la Récompense

Le modèle est entraîné avec une fonction de récompense composite $r$ :
$$r = (1 - w_{fmt}) r_{task} + w_{fmt} r_{fmt} + \lambda_{len} r_{len}$$

• $r_{task}$ : Récompense binaire pour une correspondance exacte de l'étiquette (classification) ou similitude cosinus pour les questions-réponses en texte libre.
• $r_{fmt}$ : Récompense binaire pour l'adhésion à la structure de sortie requise (trace de raisonnement suivie de la prédiction).
• $r_{len}$ : Pénalité pour une longueur de réponse excessive.

3. Contributions Clés

1. OmniSapiens-7B 2.0 : La publication d'un modèle de fondation unifié capable de traiter conjointement un large éventail de tâches d'analyse comportementale couvrant les dimensions affectives, cognitives, pathologiques et sociales.
2. HARPO : L'introduction d'une nouvelle méthode de RL conçue spécifiquement pour apprendre de données comportementales hétérogènes en rééquilibrant les signaux d'apprentissage sans réseau critique.
3. Interprétabilité : Le modèle produit des traces de raisonnement plus interprétables, améliorant la transparence et la fiabilité pour les applications du monde réel.

4. Résultats Expérimentaux

4.1 Performance Multitâche

Évalué sur 10 tâches comportementales, OmniSapiens-7B 2.0 a obtenu les performances les plus élevées et les plus constantes par rapport aux :

• LLM à usage général : (ex: Gemma-4, Qwen-2.5-Omni).
• Modèles comportementaux spécialisés : (ex: HumanOmniV2, variantes précédentes d'OmniSapiens).
• Algorithmes de RL : A surpassé GRPO, RLOO, RE++, GPG et EMAGRPO.

Métriques Clés :

• A atteint le rang de performance moyen de tâche le plus élevé (1.90) parmi tous les modèles.
• A amélioré les performances jusqu'à +12.02% par rapport aux modèles de l'état de l'art précédents.
• A démontré une robustesse là où d'autres méthodes (comme GRPO) ont montré un effondrement de performance sur des tâches spécifiques (ex: détection du sarcasme).

4.2 Généralisation Zero-Shot

Le modèle a été évalué sur cinq benchmarks comportementaux non vus (Détection de l'autisme, Reconnaissance des émotions par la parole, Reconnaissance de la dépression en milieu naturel, Sentiment sur les réseaux sociaux, Incongruité du sarcasme) sans fine-tuning.

• OmniSapiens-7B 2.0 a surpassé toutes les lignes de base sur les cinq tâches retenues.
• Les gains atteignent jusqu'à +9.37% par rapport aux modèles précédents.
• Cela suggère que le modèle apprend des caractéristiques comportementales transférables qui se généralisent au-delà de la distribution d'entraînement.

4.3 Interprétabilité de la Trace de Raisonnement

L'article évalue la qualité des traces de raisonnement en utilisant les desiderata XAI :

• Robustesse : A atteint la plus haute cohérence (87.7%) à travers les échantillons indépendants et les variations de paraphrases (88.4%).
• Efficacité : A généré des traces de raisonnement nettement plus concises (19.86 tokens) par rapport aux lignes de base (ex: 57.69 tokens pour OmniSapiens-7B RL).
• Évaluation Humaine : Dans les comparaisons par paires, OmniSapiens-7B 2.0 était préféré ou égal aux lignes de base dans 99.2% des cas pour la concision, 88.3% pour la cohérence et 78.9% pour la spécificité.

4.4 Études d'Ablation

• Modulation Structurée : Le retrait de la référence géométrique (utilisant un simple scaling réciproque) a dégradé les performances (Rang moyen 2.00 vs 1.90), confirmant la nécessité du centrage géométrique pour éviter la distorsion de la taille de pas globale.
• Contrôle Inertiel : Le retrait du lissage inertiel a significativement dégradé les performances (Rang moyen 2.70), particulièrement pour les tâches avec des signaux de contribution fluctuants (ex: Sarcasme, Sentiment).
• Modulation au Niveau Échantillon : Le retrait de la modulation au niveau échantillon (uniquement au niveau tâche) a dégradé les performances (Rang moyen 2.60), indiquant la nécessité de l'équilibre des signaux au niveau de l'échantillon individuel pour supprimer les valeurs d'avantage extrêmes.

5. Signification et Revendications

L'article affirme que OmniSapiens-7B 2.0 représente une étape significative vers une analyse unifiée du comportement social. En modélisant explicitement les signaux d'apprentissage hétérogènes via HARPO, le modèle surmonte les limites des approches unifiées existantes qui sont contraintes par des dynamiques d'apprentissage déséquilibrées.

Les auteurs affirment que leur travail :

• Débloque des applications potentielles dans l'informatique affective, la santé comportementale et les systèmes d'IA socialement intelligents, particulièrement dans des contextes où les données comportementales sont rares et l'interprétabilité du modèle est critique.
• Démontre que la protection des signaux plus faibles, mais structurellement significatifs (via HARPO) permet aux modèles de fondation de coder plus efficacement les structures sociales et comportementales latentes.
• Fournit un cadre fiable pour les applications comportementales du monde réel en générant des traces de raisonnement qui sont non seulement précises, mais aussi robustes, efficaces et interprétables.

Le travail suggère que les futurs modèles de fondation du comportement social pourraient bénéficier d'une prise en compte explicite de l'hétérogénéité des signaux d'apprentissage plutôt que de traiter toutes les tâches et tous les échantillons de manière uniforme.