🤖 AI

OmniSapiens: A Foundation Model for Social Behavior Processing via Heterogeneity-Aware Relative Policy Optimization

Das Paper stellt OmniSapiens-7B 2.0 vor, ein Foundation-Modell für die Verarbeitung sozialen Verhaltens, das eine neuartige Methode der Heterogenitätsbewussten Relativen Policy-Optimierung nutzt, um effektiv aus vielfältigen und unbalancierten Verhaltensdaten zu lernen und dabei eine State-of-the-Art-Leistung sowie konsistente Argumentation über mehrere Aufgaben und Benchmarks hinweg zu erzielen.

Ursprüngliche Autoren: Keane Ong, Sabri Boughorbel, Luwei Xiao, Chanakya Ekbote, Wei Dai, Ao Qu, Jingyao Wu, Rui Mao, Ehsan Hoque, Erik Cambria, Gianmarco Mengaldo, Paul Pu Liang

Veröffentlicht 2026-06-17

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Keane Ong, Sabri Boughorbel, Luwei Xiao, Chanakya Ekbote, Wei Dai, Ao Qu, Jingyao Wu, Rui Mao, Ehsan Hoque, Erik Cambria, Gianmarco Mengaldo, Paul Pu Liang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Einer KI beibringen, Menschen zu verstehen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, menschliches Verhalten zu verstehen. Sie möchten, dass er in vielen verschiedenen Bereichen gut ist: Sarkasmus erkennen, Depressionen wahrnehmen, Humor verstehen, Körpersprache lesen und herausfinden, was jemand fühlt.

Das Problem ist, dass menschliches Verhalten chaotisch und vielfältig ist. Einige Aufgaben sind wie Schreien (sehr laute Signale), während andere wie Flüstern sind (sehr leise Signale). Wenn man all diese Aufgaben einer Standard-KI einfach vorwirft, werden die „schreienden“ Aufgaben die „Flüsterer“ übertönen. Die KI wird sehr gut in den lauten Dingen, ignoriert aber die leisen Aufgaben komplett.

Die Autoren dieses Papers haben ein neues KI-Modell namens OmniSapiens-7B 2.0 entwickelt, um dieses Problem zu lösen. Es ist darauf ausgelegt, ein „sozial intelligentes“ Gehirn zu sein, das all diese verschiedenen Aufgaben gleichzeitig bewältigen kann, ohne durch die lautesten davon verwirrt oder voreingenommen zu werden.

Das Problem: Der „Schreiendes Baby“-Effekt

Das Paper erklärt, dass bestehende KI-Modelle Schwierigkeiten haben, weil die Daten, aus denen sie lernen, heterogen (gemischt und ungleichmäßig) sind.

Die Analogie: Stellen Sie sich ein Klassenzimmer vor, in dem ein Lehrer versucht, zehn verschiedene Fächer gleichzeitig zu unterrichten. In einer Ecke schreit ein Schüler die Antwort auf eine Matheaufgabe (ein sehr einfaches, lautes Signal). In einer anderen Ecke flüstert ein Schüler ein komplexes Gedicht über Trauer (ein schwieriges, leises Signal).
Das Ergebnis: Ein Standard-Lehrer (oder eine KI) wird sich ganz auf den schreienden Schüler konzentrieren, weil dieses Feedback am einfachsten zu hören ist. Er wird den flüsternden Schüler ignorieren. In der Welt der KI bedeutet das: Das Modell wird großartig in einfachen Aufgaben, scheitert aber an den subtilen, komplexen Aufgaben.

Die Lösung: Der „Fairness-Coach“ (HARPO)

Um dies zu beheben, haben die Forscher eine neue Trainingsmethode namens HARPO (Heterogeneity-Aware Relative Policy Optimization) erfunden.

Die Analogie: Denken Sie an HARPO als einen sehr klugen „Fairness-Coach“, der im Klassenzimmer steht.
1. Zuhören: Der Coach hört sich die Antworten jedes Schülers an.
2. Anstrengung messen: Der Coach berechnet, wie viel „Lärm“ (oder Lernsignal) jeder Schüler beiträgt.
3. Die Lautstärke ausbalancieren: Wenn der Mathe-Schüler zu laut schreit, dreht der Coach sein Mikrofon ein wenig leiser. Wenn der Poesie-Schüler zu leise flüstert, dreht der Coach sein Mikrofon etwas lauter.
4. Das Ziel: Der Coach stellt sicher, dass jeder Schüler eine faire Chance hat, den Unterricht zu beeinflussen, unabhängig davon, wie laut oder leise er ist.

In technischer Hinsicht betrachtet HARPO, wie viel jeder spezifische Task oder jedes Datensample zum Lernen der KI beiträgt. Es „dreht dann mathematisch“ die leisen Signale lauter und die lauten Signale leiser, damit die KI von allem gleichermaßen lernt.

Die Ergebnisse: Der Alleskönner

Das Paper testete dieses neue KI-Modell (OmniSapiens-7B 2.0) gegenüber anderen Modellen bei 10 verschiedenen Verhaltensaufgaben, die von der Erkennung von Angstzuständen bis hin zum Verständnis nicht-verbaler Gesten reichen.

Die Anzeigetafel: OmniSapiens war nicht nur gut, es dominierte. Es erzielte bei allen 10 Aufgaben gleichzeitig die besten Ergebnisse.
Der Vergleich: Im Vergleich zu anderen Top-KI-Modellen war OmniSapiens insgesamt um bis zu 12 % besser. Noch beeindruckender war, dass OmniSapiens auch bei 5 völlig neuen Aufgaben, die es zuvor noch nie gesehen hatte (wie die Erkennung von Autismus oder schwerer Depression), alle anderen um bis zu 9 % übertraf.
Das „Warum“: Das Paper legt nahe, dass, weil der „Fairness-Coach“ (HARPO) sichergestellt hat, dass die KI auch von den leisen, schwierigen Signalen lernt, entwickelte die KI ein tieferes, flexibleres Verständnis menschlichen Verhaltens. Sie hat nicht nur die lauten Antworten auswendig gelernt, sondern die zugrunde liegenden Muster verstanden.

Bonus: Klareres Denken

Das Paper untersuchte auch, wie die KI denkt. Wenn die KI aufgefordert wird, ein Problem zu lösen, schreibt sie ihre Gedankenschritte auf (ähnlich wie ein Schüler, der seinen Rechenweg zeigt).

Alte Modelle: Lieferten oft lange, abschweifende oder verwirrte Erklärungen oder raten manchmal einfach, ohne nachzudenken.
OmniSapiens: Erzeugte kürzere, klarere und konsistentere Argumentationen. Es war wie ein Schüler, der nicht nur die richtige Antwort gibt, sondern sie logisch und prägnant erklärt. Dies macht die KI für den realen Einsatz vertrauenswürdiger.

Zusammenfassung

Das Paper behauptet, dass durch die Erfindung einer neuen Methode, um das „Volumen“ verschiedener Lernsignale auszubalancieren (HARPO), eine KI (OmniSapiens-7B 2.0) geschaffen wurde, die:

Besser in allem ist: Sie gewinnt bei 10 vielfältigen sozialen Aufgaben.
Besser in neuen Dingen ist: Sie generalisiert gut auf Aufgaben, die sie noch nicht gesehen hat.
Klarer ist: Sie erklärt ihre Argumentation besser als bisherige Modelle.

Die Kernbotschaft ist: Um eine wirklich sozial intelligente KI zu bauen, darf man nicht zulassen, dass die „lauten“ Daten dominieren; man braucht einen Mechanismus, der sicherstellt, dass die „Flüsterstimmen“ genauso deutlich gehört werden.

Technisches Resümee: OmniSapiens: Ein Foundation-Modell zur Verarbeitung sozialen Verhaltens mittels Heterogenitäts-bewusster Relativer Policy-Optimierung

1. Problemstellung

Sozial intelligente KI-Systeme erfordern die Fähigkeit, über vielfältige menschliche Verhaltensaufgaben hinweg zu schlussfolgern und auf neue soziale Kontexte zu generalisieren. Bestehende KI-Systeme sind jedoch überwiegend auf einzelne Verhaltensaufgaben spezialisiert (z. B. Sentiment-Analyse oder Emotionserkennung) und es mangelt ihnen an vereinheitlichten Modellen, die effektiv über diverse Verhaltenskontexte hinweg generalisieren können.

Die primäre Herausforderung bei der Entwicklung vereinheitlichter Modelle für soziales Verhalten liegt in der inhärenten Heterogenität der Verhaltensdaten. Diese Daten umfassen unterschiedliche Merkmalstypen (z. B. akustische Prosodie, zwischenmenschliche Interaktion, Text, Vision) und Vorhersageziele (z. B. Emotionsklassifizierung, soziale Inferenz, Erkennung pathologischer Zustände). Diese Heterogenität führt zu ungleichmäßigen Trainingssignalen über die Stichproben hinweg, was imbalancierte Lernmechanismen zur Folge hat.

Derzeitige vereinheitlichte Modelle nutzen häufig Reinforcement Learning (RL)-Methoden wie Group Relative Policy Optimization (GRPO), um das logische Schließen zu verbessern. Diese Methoden aggregieren Policy-Updates über heterogene Stichproben hinweg, ohne die Disparitäten in deren Lernmechanismen explizit zu regulieren. Infolgedessen kann die Optimierung unverhältnismäßig stark von spezifischen Verhaltensaufgaben oder Stichproben mit systematisch erhöhten Advantage-Magnituden dominiert werden, was die Multitask-Leistung und die Generalisierung über Kontexte hinweg behindert.

2. Methodik

2.1 Modellarchitektur: OmniSapiens-7B 2.0

Die Autoren führen OMNISAPIENS-7B 2.0 ein, ein Foundation-Modell für die vereinheitlichte Analyse sozialen Verhaltens.

Backbone: Das Modell nutzt Qwen 2.5 Omni-7B als multimodale Basisarchitektur, die in der Lage ist, Text-, Bild- und Audioeingaben zu verarbeiten.
Trainingssetup: Es wird auf dem Human Behavior Atlas Benchmark trainiert, der über 100.000 Stichproben aus 10 diversen Verhaltensaufgaben abdeckt: Sentiment (SEN), Emotionserkennung (EMO), Soziales Schließen (SOC), Intent-Erkennung (INT), Non-verbale Kommunikation (NVC), Humor (HUM), Sarkasmus (SAR), Angstzustände (ANX), Depression (DEP) und PTSD (PTSD).
Zielsetzung: Eine einzige gemeinsame Policy $\pi_\theta$ wird trainiert, um die Leistung über alle Aufgaben gleichzeitig zu maximieren.

2.2 Kernalgorithmus: Heterogeneity-Aware Relative Policy Optimization (HARPO)

Um das Ungleichgewicht der Lernsignale zu adressieren, schlägt das Paper HARPO vor, eine Critic-freie, On-Policy-RL-Methode. HARPO modifiziert das Standard-GRPO-Ziel, indem es die Lernsignale über heterogene Stichproben und Aufgaben hinweg dynamisch neu ausbalanciert.

Kernmechanismen von HARPO:

Approximation des Beitrags-Signals (Contribution Signal):
Da Policy-Gradienten durch Advantage-Werte skaliert werden, dient die Magnitude der Advantages als Stellvertreter für den Beitrag einer Stichprobe zum Policy-Update. HARPO berechnet Beitrags-Signale auf zwei Ebenen:
- Stichprobenebene ( $p^{(t)}_{(m,q)}$ ): Der durchschnittliche absolute, gruppennormierte Advantage für eine spezifische Stichprobe $q$ innerhalb der Aufgabe $m$ .
- Aufgabenebene ( $p^{(t)}_m$ ): Der durchschnittliche absolute, gruppennormierte Advantage über alle Stichproben der Aufgabe $m$ .
Geometrisch zentrierte Modulation:
Um zu verhindern, dass eine einzelne Aufgabe oder Stichprobe das Update unverhältnismäßig beeinflusst, skaliert HARPO die Advantages basierend auf ihrer Abweichung von einem geometrischen Mittelwert-Referenzwert.
- Ein geometrischer Mittelwert-Referenzwert ( $\bar{p}^{(t)}_{ref,m}$ für Stichproben, $\bar{p}^{(t)}_{ref,M}$ für Aufgaben) wird berechnet.
- Modulationsfaktoren ( $s^{(t)}_{(m,q)}$ und $s^{(t)}_m$ ) werden als der Kehrwert des Verhältnisses zwischen dem Beitrags-Signal und dem geometrischen Mittelwert abgeleitet.
- Effekt: Stichproben oder Aufgaben mit Beitrags-Signalen oberhalb des Referenzwerts erhalten Faktoren $<1$ (Abwärtsskalierung), während jene unterhalb Faktoren $>1$ (Aufwärtsskalierung) erhalten.
- Stabilität: Da die Faktoren aus einem geometrischen Mittel konstruiert sind, ist ihr geometrisches Mittel exakt 1. Dies stellt sicher, dass die multiplikative Aufwärtsskalierung exakt durch die Abwärtsskalierung kompensiert wird, wodurch unbeabsichtigte Änderungen der globalen Schrittweite verhindert werden.
Trägheitsglättung (Inertial Smoothing):
Um Stabilität zu gewährleisten und auf persistente Trends statt auf stochastische On-Policy-Fluktuationen zu reagieren, werden die Beitrags-Signale und Modulationsfaktoren mittels Trägheitssteuerung aktualisiert:
- Beitrags-Signale verwenden einen exponentiellen gleitenden Durchschnitt (EMA).
- Modulationsfaktoren (da sie multiplikative Verhältnisse sind) werden mittels multiplikativer Updates geglättet.

Zielfunktion:
HARPO behält das PPO-Stil Trust-Region-Ziel von GRPO bei, ersetzt jedoch den Standard-gruppennormierten Advantage $\hat{A}$ durch den HARPO-modulierten Advantage $A^H$ :
$A^H_{(m,q,i)} = s^{(t)}_{(m,q)} \cdot s^{(t)}_m \cdot \hat{A}^{(t)}_{(m,q,i)}$

2.3 Reward-Design

Das Modell wird mit einer zusammengesetzten Reward-Funktion $r$ trainiert:
$r = (1 - w_{fmt}) r_{task} + w_{fmt} r_{fmt} + \lambda_{len} r_{len}$

$r_{task}$ : Binärer Reward für exakte Label-Übereinstimmung (Klassifizierung) oder Cosine-Similarity für Free-Text-QA.
$r_{fmt}$ : Binärer Reward für die Einhaltung der erforderlichen Ausgabestruktur (Reasoning-Trace gefolgt von der Vorhersage).
$r_{len}$ : Strafe für übermäßig lange Antworten.

3. Zentrale Beiträge

OmniSapiens-7B 2.0: Die Veröffentlichung eines vereinheitlichten Foundation-Modells, das in der Lage ist, eine breite Palette von Verhaltensanalysen über affektive, kognitive, pathologische und soziale Dimensionen hinweg gemeinsam zu bewältigen.
HARPO: Die Einführung einer neuen RL-Methode, die speziell darauf ausgelegt ist, aus heterogenen Verhaltensdaten zu lernen, indem sie Lernsignale ohne ein Critic-Netzwerk neu ausbalanciert.
Interpretierbarkeit: Das Modell erzeugt interpretierbarere Reasoning-Traces, was die Transparenz und Zuverlässigkeit für reale Anwendungen verbessert.

4. Experimentelle Ergebnisse

4.1 Multitask-Leistung

In Evaluierungen über 10 Verhaltensaufgaben hinweg erreichte OmniSapiens-7B 2.0 die beste und konsistenteste Leistung im Vergleich zu:

Allgemeinen LLMs: (z. B. Gemma-4, Qwen-2.5-Omni).
Spezialisierten Verhaltensmodellen: (z. B. HumanOmniV2, vorherige OmniSapiens-Varianten).
RL-Algorithmen: Übertraf GRPO, RLOO, RE++, GPG und EMAGRPO.

Schlüssellkennzahlen:

Erzielte den höchsten durchschnittlichen Task-Leistungsrang (1.90) unter allen Modellen.
Verbesserte die Leistung um bis zu +12,02 % gegenüber bisherigen State-of-the-Art-Modellen.
Demonstrierte Robustheit dort, wo andere Methoden (wie GRPO) einen Leistungsabfall bei spezifischen Aufgaben (z. B. Sarkasmus-Erkennung) zeigten.

4.2 Zero-Shot Generalisierung

Das Modell wurde auf fünf zurückgestellten (held-out) Verhaltens-Benchmarks evaluiert (Autismus-Erkennung, Speech Emotion Recognition, In-the-wild Depression Recognition, Social Media Sentiment, Sarcasm Incongruity) ohne Fine-Tuning.

OmniSapiens-7B 2.0 übertraf alle Baselines bei allen fünf held-out Aufgaben.
Die Zuwächse erreichten bis zu +9,37 % im Vergleich zu früheren Modellen.
Dies deutet darauf hin, dass das Modell transferierbare Verhaltensmerkmale lernt, die über die Trainingsverteilung hinaus generalisieren.

4.3 Interpretierbarkeit der Reasoning-Traces

Das Paper evaluiert die Qualität der Reasoning-Traces anhand von XAI-Desiderata:

Robustheit: Erzielte die höchste Konsistenz (87,7 %) über unabhängig gezogene Stichproben und Paraphrasen-Variationen (88,4 %) hinweg.
Effizienz: Generierte signifikant prägnantere Reasoning-Traces (19,86 Token) im Vergleich zu Baselines (z. B. 57,69 Token für OmniSapiens-7B RL).
Human Evaluation: In Paarvergleichen wurde OmniSapiens-7B 2.0 in 99,2 % der Fälle für Prägnanz, in 88,3 % für Kohärenz und in 78,9 % für Spezifität gegenüber Baselines bevorzugt oder mit diesen gleichgesetzt.

4.4 Ablationsstudien

Strukturierte Modulation: Das Entfernen des geometrischen Referenzwerts (Verwendung einfacher reziproker Skalierung) verschlechterte die Leistung (Durchschnittlicher Rang 2,00 vs. 1,90), was die Notwendigkeit der geometrischen Zentrierung zur Vermeidung von Verzerrungen der globalen Schrittweite bestätigt.
Inertial Control: Das Entfernen der Trägheitsglättung verschlechterte die Leistung signifikant (Durchschnittlicher Rang 2,70), insbesondere bei Aufgaben mit fluktuierenden Beitrags-Signalen (z. B. Sarkasmus, Sentiment).
Stichproben-Ebene Modulation: Das Entfernen der Modulation auf Stichprobenebene (nur Task-Ebene) verschlechterte die Leistung (Durchschnittlicher Rang 2,60), was die Notwendigkeit der Balance der Signale auf der Ebene der einzelnen Stichprobe indiziert, um extreme Advantage-Werte zu unterdrücken.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass OmniSapiens-7B 2.0 einen bedeutenden Schritt in Richtung einer vereinheitlichten Analyse des sozialen Verhaltens darstellt. Durch die explizite Modellierung heterogener Lernsignale mittels HARPO überwindet das Modell die Einschränkungen bestehender vereinheitlichter Ansätze, die durch imbalancierte Lernmechanismen begrenzt sind.

Die Autoren stellen fest, dass ihre Arbeit:

Potenzielle Anwendungen erschließt in den Bereichen Affective Computing, Verhaltensgesundheit und sozial intelligenten KI-Systemen, insbesondere in Szenarien, in denen Verhaltensdaten knapp sind und die Interpretierbarkeit des Modells kritisch ist.
Demonstriert, dass der Schutz schwächerer, strukturell bedeutsamer Signale (via HARPO) es Foundation-Modellen ermöglicht, latente soziale und verhaltensbezogene Strukturen effektiver zu kodieren.
Einen zuverlässigen Rahmen für reale Verhaltensanwendungen bietet, indem sie Reasoning-Traces generiert, die nicht nur genau, sondern auch robust, effizient und interpretierbar sind.

Die Arbeit legt nahe, dass zukünftige Foundation-Modelle für soziales Verhalten davon profitieren könnten, die Heterogenität der Lernsignale explizit zu adressieren, anstatt alle Aufgaben und Stichproben einheitlich zu behandeln.