💬 NLP

SMILE-Next: Teaching Large Language Models to Detect, Classify, and Reason about Laughter

Dieser Beitrag stellt SMILE-Next, einen umfassenden Datensatz für Lachen aus der realen Welt, vor und schlägt ein spezialisiertes Framework für große Sprachmodelle vor, das lauterspezifische Self-Instruct und einen Mixture-of-Laugh-Experts (MoLE)-Mechanismus umfasst, um die Erkennung, Klassifizierung und das Reasoning komplexer sozialer Lachsignale erheblich zu verbessern.

Ursprüngliche Autoren: Lee Jung-Mok, Kim Sung-Bin, Joohyun Chang, Lee Hyun, Tae-Hyun Oh

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Lee Jung-Mok, Kim Sung-Bin, Joohyun Chang, Lee Hyun, Tae-Hyun Oh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich Lachen als einen komplexen, geheimen Code vor, den Menschen zur Kommunikation verwenden. Es geht nicht nur darum, etwas Lustiges zu finden; manchmal lachen wir, um höflich zu sein, um Peinlichkeit zu verbergen oder um zu zeigen, dass wir nervös sind. Lange Zeit waren Computer schlecht darin, diesen Code zu knacken. Sie konnten zwar erkennen, dass jemand gelacht hat, aber sie hatten Schwierigkeiten zu verstehen, warum oder welche Art von Lachen es war.

Diese Arbeit stellt SMILE-Next vor, ein neues Projekt, das entwickelt wurde, um Computern beizubringen, zu „Lach-Detectives" zu werden. Hier ist, wie sie es getan haben, einfach erklärt:

1. Das neue „Lehrbuch" (Der Datensatz)

Stellen Sie sich die Forscher vor, die ein massives, neues Lehrbuch für KI erstellen. Vorher enthielten die Lehrbücher nur wenige Seiten über Lachen, meist aus Fernsehsendungen oder TED-Vorträgen.

Was neu ist: Sie sammelten Tausende von Videoclips aus dem echten Leben – Talkshows, Filme und sogar zwei Personen, die auf der Straße plaudern.
Die drei Lektionen: Anstatt nur zu fragen „Haben sie gelacht?", lehrt das Lehrbuch der KI drei spezifische Fähigkeiten:
1. Erkennung: Feststellen, dass ein Lachen stattgefunden hat.
2. Klassifizierung: Identifizieren der Art des Lachens (Ist es ein glückliches „freudiges" Lachen? Ein höfliches „Ich nicke mit"-Lachen? Oder ein unbehagliches „Ich weiß nicht, was ich sagen soll"-Lachen?).
3. Begründung: Erklären, warum es passiert ist. (z. B. „Er lachte, weil sein Chef einen Witz machte, aber er war eigentlich nervös wegen des Meetings.")

2. Die „Übersetzer"-Strategie (Textualisierung)

Dies ist der größte Trick der Arbeit. Normalerweise versucht KI, ein Video anzusehen und Audio gleichzeitig zu hören, wie eine Person, die versucht, ein Buch zu lesen, während ein lautes Radio läuft. Sie wird verwirrt, weil die Signale alle miteinander verflochten sind.

Die Forscher beschlossen, alles zuerst in Text zu übersetzen.

Die Metapher: Stellen Sie sich das Video als Fremdsprache vor. Anstatt die KI zu zwingen, die Sprache von Grund auf zu lernen, stellten sie ein Team von Übersetzern (spezialisierte Tools) ein, um das Video in eine geschriebene Geschichte zu verwandeln.
Die Geschichte umfasst: Was gesagt wurde (Transkript), wie die Stimme klang (Tonhöhe, Tonfall), wie die Gesichter aussahen (Lächeln, Stirnrunzeln) und wie die Menschen zueinander standen (Chef/Mitarbeiter, Freunde).
Warum es funktioniert: Indem sie das Video in eine Geschichte verwandelten, kann die KI ihre Superkraft nutzen – das Lesen und Verstehen von Sprache –, um den Witz zu entschlüsseln. Es ist viel einfacher für einen Computer, eine Beschreibung einer unangenehmen Stille zu „lesen", als eine solche zu „sehen".

3. Das „Spezialistenteam" (Mischung von Lach-Experten)

Sobald die KI das „Lehrbuch" und die „übersetzten Geschichten" hat, benötigten die Forscher eine Möglichkeit, ihr beizubringen, alle drei Lektionen (Erkennung, Klassifizierung, Begründung) gut zu beherrschen, ohne verwirrt zu werden.

Die Metapher: Stellen Sie sich einen Allgemeinmediziner vor, der in allem gut ist, aber kein Spezialist. Die Forscher gaben diesem Arzt ein Team aus drei spezialisierten Assistenten (genannt „Experten").
- Experte 1 ist großartig darin, das Lachen zu erkennen.
- Experte 2 ist großartig darin, die Art des Lachens zu erraten.
- Experte 3 ist großartig darin, den Grund zu erklären.
Der Router: Es gibt einen „Manager" (einen Router), der die Frage betrachtet. Wenn die Frage „Haben sie gelacht?" lautet, ruft der Manager Experte 1. Wenn die Frage „Warum haben sie gelacht?" lautet, ruft er Experte 3. Sie arbeiten alle im selben Gehirn zusammen, wechseln aber je nach Aufgabe die Rolle. Dies macht die KI schneller und intelligenter.

4. Die „Übungsdrills" (Selbst-Instruktion)

Die realen Videos, die sie sammelten, waren großartig, aber nicht ausreichend, um jede mögliche Situation abzudecken.

Die Metapher: Um die KI intelligenter zu machen, ließen sie eine leistungsfähige KI (GPT-4) neue Übungsdrills schreiben.
Der KI wurde gesagt: „Hier sind einige Beispiele für Lachen. Erfinde jetzt 1.000 neue Szenarien, in denen Menschen lachen könnten, einschließlich seltsamer oder unangenehmer."
Dies ermöglichte es der KI, an Situationen zu üben, die sie noch nie gesehen hatte, wodurch sie viel besser darin wurde, reale Überraschungen zu bewältigen.

Die Ergebnisse

Als sie dieses neue System testeten:

War es beim Verstehen von Lachen viel besser als frühere Modelle, die versuchten, Videos direkt anzusehen.
Konnte es korrekt identifizieren, dass ein Lachen „unbehaglich" und nicht „lustig" war, indem es die im Text beschriebene Körpersprache und den Tonfall betrachtete.
Bevorzugten Menschen seine Erklärungen gegenüber anderen Modellen, da sie sich genauer und menschlicher anfühlten.

Kurz gesagt: Die Arbeit baute nicht nur einen besseren Lacherkennungsmechanismus; sie baute ein System, das Video in eine Geschichte übersetzt, ein Team von Spezialisten nutzt, um diese Geschichte zu analysieren, und an erfundenen Szenarien übt, um ein Meister menschlicher sozialer Signale zu werden.

Technische Zusammenfassung: SMILE-Next

Problemstellung

Lachen ist ein komplexes soziales Signal, das kommunikative Absichten jenseits einfacher Belustigung vermittelt und Funktionen wie den Aufbau von Intimität, das Erregen von Aufmerksamkeit und die Entspannung von Spannungen erfüllt. Während frühere Forschungen Lachen und Humor untersucht haben, beschränken sich bestehende Ansätze weitgehend auf eng definierte Aufgaben (z. B. Humorerkennung, Intensitätsschätzung) oder eingeschränkte, skriptbasierte Szenarien (z. B. TED-Vorträge, Sitcoms). Diese Methoden haben Schwierigkeiten, Lachen so zu erfassen, wie es natürlich in diversen realen Mensch-Mensch-Interaktionen auftritt. Darüber hinaus verlassen sich aktuelle multimodale Modelle oft auf eine implizite Merkmalsfusion, die kausale, soziale und kontextuelle Hinweise verstrickt, was es schwierig macht, breite, kontextbewusste Erklärungen dafür zu liefern, warum Lachen auftritt. Es fehlt an umfassenden Datensätzen und spezialisierten Modellen, die in der Lage sind, Lachen in verschiedenen sozialen Kontexten zu erkennen, zu klassifizieren und zu begründen.

Methodik

Die Autoren schlagen SMILE-Next vor, einen umfassenden Datensatz und ein spezialisiertes Large-Language-Model (LLM)-Framework, das für das Verständnis von Lachen in der realen Welt entwickelt wurde.

1. Der SMILE-Next-Datensatz

SMILE-Next wurde konstruiert, um generalisiertes Lach-Reasoning durch drei Kernaufgaben zu unterstützen:

Lacherkennung: Eine binäre Klassifizierungsaufgabe, um festzustellen, ob ein Videoclip Lachen hervorruft.
Lachtyp-Klassifizierung: Eine Mehrklassenaufgabe, die Lachen in drei Typen kategorisiert: freudig (spontan/freudig), höflich (sozial motiviert/nicht spontan) und satirisch (sarkastisch/peinlich/spöttisch).
Lach-Reasoning: Eine Aufgabe zur freien Textgenerierung, die die zugrunde liegende Ursache von Lachen erklärt.

Konstruktionspipeline:

Datenerfassung: Videos stammen aus diversen Domänen, einschließlich TED-Vorträge, Sitcoms und „in-the-wild"-YouTube-Inhalten (Talkshows, dyadische Gespräche, Filme).
Textualisierung: Um verstrickte multimodale Signale zu entflechten, wandeln die Autoren Video- und Sprachattribute in strukturierte textuelle Darstellungen um. Dies umfasst die Extraktion von Äußerungen, Gesichtsausdrucks-Einheiten (Facial Action Units), akustischen Merkmalen (Tonhöhe, Intensität, Jitter, Shimmer), Videotiteln und Sprecherbeziehungen.
Annotation: Ein hybrider Ansatz wird verwendet, bei dem ein experten-LLM (GPT-4) Pseudo-Labels für das Reasoning generiert, die anschließend von menschlichen Annotatoren über Amazon Mechanical Turk (AMT) verifiziert und verfeinert werden. Der finale Datensatz enthält 3.590 Videoclips und 6.386 Frage-Antwort-Paare.

2. Das lachspezialisierte LLM-Framework

Aufbauend auf SMILE-Next schlagen die Autoren ein einheitliches Framework für ein lachspezialisiertes LLM vor, das aus zwei Schlüsselkomponenten besteht:

Lachspezifisches Self-Instruct: Um die Skalierungs- und Diversitätsgrenzen kuratierter Daten zu überwinden, setzen die Autoren ein Self-Instruction-Framework ein. Mithilfe eines externen LLM (GPT-4) synthetisieren sie automatisch diverse Instruktion-Antwort-Paare basierend auf den Seed-Aufgaben. Dies erweitert den Datensatz, um ein breiteres Spektrum sozialer Kontexte (z. B. Arbeitsplatzhierarchien, informelle Freundschaften) und Lachtypen (z. B. nervös, erzwungen, sarkastisch) abzudecken, und verbessert die Generalisierungsfähigkeiten des Modells.
Mixture-of-Laugh-Experts (MoLE): Um mehrere lachbezogene Aufgaben innerhalb eines einheitlichen Modells ohne katastrophales Vergessen zu bewältigen, führen die Autoren ein parameter-effizientes MoLE-Framework ein.
- Die Gewichte des Backbone-LLM werden eingefroren, um allgemeines Reasoning-Wissen zu bewahren.
- Aufgabenspezifische, leichte Experten werden mittels LoRA (Low-Rank Adaptation)-Adaptern implementiert, die in die linearen Schichten injiziert werden.
- Ein Router-Gating-Netzwerk berechnet dynamisch Gewichte, um die Ausgaben dieser Experten ( $E_1, E_2, E_3$ ) für jede Eingabeinstanz auszuwählen und zu kombinieren. Dies ermöglicht dem Modell, sich adaptiv auf Erkennung, Klassifizierung oder Reasoning zu spezialisieren, während es einen gemeinsamen Backbone teilt.

Hauptbeiträge

SMILE-Next-Datensatz: Die Einführung eines groß angelegten, multimodalen Datensatzes, der diverse reale Interaktionsszenarien mit drei komplementären Aufgaben (Erkennung, Klassifizierung, Reasoning) und reichhaltigen textualisierten Annotationen abdeckt.
Lach-Expert-LLM: Die Entwicklung eines spezialisierten LLM, das starke Fähigkeiten bei der Identifizierung und Interpretation von Lachen in sozialen Interaktionen demonstriert.
Neuartige Trainingsstrategien: Der Vorschlag von Lachspezifischem Self-Instruction zur Skalierung der Datendiversität und des Mixture-of-Laugh-Experts (MoLE)-Frameworks zur effizienten Bewältigung von Multi-Task-Learning mit Parameter-Effizienz.
Textualisierungsstrategie: Empirische Validierung, dass die Umwandlung multimodaler Signale in explizite textuelle Darstellungen es LLMs ermöglicht, ihre vortrainierten Common-Sense- und kausalen Reasoning-Fähigkeiten besser zu nutzen als Modelle, die rohe implizite multimodale Merkmale verarbeiten.

Experimentelle Ergebnisse

Der vorgeschlagene Ansatz wurde auf SMILE-Next gegen verschiedene Baselines evaluiert, darunter Audio-Visual-LLMs (z. B. MiniCPM-o, Qwen-Omni) und Visual-LLMs (z. B. Video-LLaVA, Qwen2.5-VL).

Quantitative Leistung: Die vorgeschlagenen LLMs (Vicuna, LLaMA3, Qwen2.5), die mit Self-Instruction und MoLE trainiert wurden, schnitten bei allen drei Aufgaben deutlich besser ab als alle Baselines. Beispielsweise erreichte der vorgeschlagene Ansatz bei der Lacherkennung einen F1-Score von 0,9675 (Vicuna) im Vergleich zu 0,1952 für MiniCPM-o und 0,8586 für Qwen2.5-VL. Ähnliche Verbesserungen wurden bei Klassifizierungs- und Reasoning-Metriken (BLEU, METEOR, ROUGE, SentBERT) beobachtet.
Ablationsstudien:
- Multimodale Hinweise: Die Nutzung des vollständigen Satzes textualisierter Hinweise (Transkription, akustisch, visuell und relational) schnitt konsistent besser ab als Modelle, die nur Texttranskripte verwendeten, was die Notwendigkeit entflochtener multimodaler Informationen bestätigt.
- Self-Instruction & MoLE: Beide Komponenten trugen zu Leistungssteigerungen bei. Self-Instruction verbesserte die Generalisierung auf diverse Szenarien, während MoLE die aufgabenspezifische Spezialisierung weiter erhöhte.
- Router-Analyse: Die Visualisierung der Gating-Gewichte zeigte, dass unterschiedliche Aufgaben unterschiedliche Experten aktivieren (z. B. dominiert Experte 1 das Reasoning, während Experten 2 und 3 mehr zur Klassifizierung und Erkennung beitragen), was eine effektive aufgabenadaptive Routing bestätigt.
Menschliche Präferenz: In einer menschlichen Evaluation wurden die Reasoning-Ausgaben des vorgeschlagenen LLM in 69,0 % der Vergleiche gegenüber AV-LLMs und in 55,7 % gegenüber V-LLMs gegenüber denen von AV-LLMs und V-LLMs bevorzugt, was eine bessere Übereinstimmung mit menschlichen Urteilen anzeigt.
Effizienz: Das MoLE-Framework führte zu einer vernachlässigbaren Latenz (ca. 1–2 % Erhöhung) im Vergleich zu Single-Expert-Modellen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass SMILE-Next und das damit verbundene Framework den Stand der Technik im Verständnis von Lachen in der realen Welt voranbringen, indem sie über eine einfache Erkennung hinaus zu nuanciertem Reasoning übergehen. Die Autoren betonen, dass die Textualisierung multimodaler Informationen für ein robustes Lachverständnis unerlässlich ist, da sie es LLMs ermöglicht, soziale und affektive Faktoren, die oft in latenten Merkmalsräumen verstrickt sind, explizit zu verarbeiten. Durch die Kombination von Self-Instruction für Datendiversität und MoLE für Aufgabenspezialisierung erreicht das vorgeschlagene System ein Gleichgewicht zwischen Generalisierung und spezifischer Expertise, wodurch Maschinen die komplexe, kontextabhängige Natur menschlichen Lachens effektiver interpretieren können als frühere multimodale Ansätze. Die Arbeit wird als ein Schritt hin zu reichhaltigeren Mensch-Maschine- und Maschine-Maschine-Sozialinteraktionen präsentiert.