The 2026 ACII Dyadic Conversations (DaiKon) Workshop & Challenge
Der 2026 ACII Dyadic Conversations (DaiKon) Workshop & Challenge stellt ein umfassendes Benchmark und einen Datensatz mit 945 natürlichen, mehrsprachigen dyadischen Interaktionen vor, um die Modellierung zwischenmenschlicher Affekte und sozialer Dynamiken durch drei Teilherausforderungen voranzutreiben, die sich auf gerichteten Einfluss, Turn-taking und die Vorhersage der Rapport-Trajektorie konzentrieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich zwei Personen vor, die sich gegenübersitzen und ein Gespräch führen. Sie wechseln sich nicht nur beim Sprechen ab; sie tanzen. Ein Witz der einen Person lässt die andere lachen; eine Zögerung der einen lässt die andere innehalten; sie bauen im Laufe der Minuten ein Gefühl der Verbindung (oder „Rapport") auf.
Lange Zeit waren Computer gut darin, eine Person im Raum zu analysieren – wie eine Solosängerin, die einen hohen Ton trifft. Doch sie hatten Mühe, das Duet zu verstehen: wie die Stimmung von Person A die von Person B verändert, wie sie ihren Rhythmus koordinieren und wie sich ihre Beziehung entwickelt.
Diese Arbeit stellt einen neuen „Turnsaal" für Informatiker vor, der ACII-DaiKon-Challenge heißt. Es ist ein Wettbewerb, der entwickelt wurde, um Computern beizubringen, diese Zwei-Personen-Tänze zu verstehen.
Hier ist eine Aufschlüsselung dessen, was sie tun, unter Verwendung einfacher Analogien:
1. Der Datensatz: Eine riesige Bibliothek echter Gespräche
Die Organisatoren haben eine massive Bibliothek namens Hume-DaiKon-Datensatz erstellt.
- Die Sammlung: Sie enthält 945 Gespräche (über 743 Stunden Video und Audio) zwischen Paaren.
- Die Vielfalt: Es sind keine skriptierten Theaterstücke. Es sind echte, natürliche Gespräche zwischen Fremden, die online zusammengeführt wurden. Sie sprechen fünf verschiedene Sprachen (Englisch, Deutsch, Spanisch, Niederländisch und Polnisch).
- Das Setup: Stellen Sie sich einen Videoanruf vor, bei dem zwei Personen gebeten werden, über ihre Wochenenden oder Urlaube zu plaudern. Das System zeichnet beide separat auf (damit der Computer das Gesicht von Person A sehen kann, während er die Stimme von Person B hört) und erfasst alles von der Stimmlage bis zu den Gesichtsausdrücken.
2. Die drei Herausforderungen (die „Wettbewerbe")
Der Wettbewerb fordert die Teilnehmer auf, KI-Modelle zu entwickeln, die drei spezifische Rätsel basierend auf diesen Gesprächen lösen können:
Rätsel A: Das „emotionale Echo" (Einfluss)
- Das Ziel: Vorhersagen, wie sich Person B gerade jetzt fühlt, basierend darauf, was Person A gerade gesagt oder getan hat.
- Die Metapher: Stellen Sie sich Person A als Windfahne vor. Wenn Person A wütend aussieht, verschiebt sich dann die Stimmung von Person B, um sie zu spiegeln? Die KI muss erraten, ob Person B „Freude", „Angst" oder „Langeweile" fühlt, basierend auf dem Verhalten der anderen Person.
- Der Haken: Es geht nicht nur darum zu erraten, was Person B im Vakuum fühlt; es geht darum zu erraten, wie Person B dieses Gefühl beeinflusst hat.
Rätsel B: Das „Floor-Handoff" (Sprechwechsel)
- Das Ziel: Zwei Dinge vorherzusagen: Wer als nächstes sprechen wird und wann sie anfangen werden zu sprechen.
- Die Metapher: Denken Sie an ein Hot-Potato-Spiel. Die KI muss die Spieler beobachten und erraten: „Ist der aktuelle Sprecher dabei, die Kartoffel fallen zu lassen (aufzuhören zu sprechen), oder wird er sie festhalten? Und wenn er sie fallen lässt, wie viele Sekunden vergehen, bis die andere Person sie fängt?"
- Warum es schwer ist: Manchmal reden Menschen übereinander (Überlappung), manchmal unterbrechen sie sich, und manchmal gibt es eine lange Stille. Die KI muss die subtilen Hinweise (wie ein tiefes Einatmen oder ein Blick) erkennen, die eine Veränderung signalisieren.
Rätsel C: Das „Beziehungsthermometer" (Rapport)
- Das Ziel: Verfolgen, wie sich die „Verbindung" zwischen den beiden Personen vom Anfang bis zum Ende des Chats verändert.
- Die Metapher: Stellen Sie sich ein Thermometer vor, das misst, wie gut zwei Personen miteinander auskommen. Steigt die Temperatur (sie knüpfen eine Bindung) oder sinkt sie (sie sind unbeholfen oder streiten), während das Gespräch fortschreitet?
- Die Herausforderung: Die KI muss das gesamte Gespräch betrachten, nicht nur einen einzelnen Satz, um zu sehen, ob sich die Beziehung aufheizt oder abkühlt.
3. Die Werkzeuge: Was die Computer verwenden
Um diese Rätsel zu lösen, haben die Forscher den Teilnehmern eine Reihe von „Augen" und „Ohren" gegeben:
- Die Ohren (Audio): Der Computer hört die Stimme mit einem Werkzeug namens Whisper. Er wandelt Sprache in eine Liste von Zahlen um, die den Ton, die Geschwindigkeit und die Emotion der Stimme erfassen.
- Die Augen (Video): Der Computer beobachtet die Gesichter mit einem Werkzeug namens FaceNet. Er wandelt Gesichtsausdrücke in Zahlen um, die Lächeln, Stirnrunzeln und Kopfbewegungen erfassen.
- Das Ergebnis: Der Computer erhält einen Strom von Zahlen für beide Personen, Seite an Seite, und versucht, Muster zu finden.
4. Was sie bisher gefunden haben (die Basisergebnisse)
Die Organisatoren haben einige einfache „Start"-KI-Modelle laufen lassen, um zu sehen, wie schwer die Rätsel sind. Hier ist, was sie entdeckt haben:
- Die Stimme ist König: Bei allen drei Rätseln schnitt der Computer viel besser ab, wenn er nur den Stimmen lauschte, als wenn er nur die Gesichter beobachtete.
- Analogie: Es ist wie der Versuch, ein Lied zu verstehen, indem man den Lippen der Sängerin zuschaut, im Vergleich zum Zuhören der Musik. Die Musik (Stimme) erzählte in diesen spezifischen Tests die Geschichte viel besser als das Visuelle (Gesicht).
- Die Kombination half (noch) nicht: Als sie versuchten, Augen und Ohren zu kombinieren, wurden die einfachen Modelle nicht viel besser. Tatsächlich wurde beim „Rapport"-Rätsel die Punktzahl durch das Hinzufügen des Videos sogar leicht schlechter.
- Warum? Es ist wie der Versuch, ein Puzzle zu lösen, während man durch beschlagene Gläser schaut. Die einfachen Modelle wurden durch die zusätzlichen visuellen Daten verwirrt. Die Arbeit legt nahe, dass wir in Zukunft intelligentere Wege benötigen, um die beiden Sinne zu kombinieren.
- Die Punktzahl: Die besten einfachen Modelle erreichten je nach Aufgabe eine Genauigkeit von etwa 40 % bis 70 %. Dies bedeutet, dass Computer beginnen, den „Kern" des Gesprächs zu erfassen, aber sie sind noch weit davon entfernt, den tiefen, komplexen Tanz der menschlichen Interaktion zu verstehen.
Zusammenfassung
Diese Arbeit ist eine Einladung an die klügsten Informatiker der Welt, aufzuhören, Menschen isoliert zu betrachten, und stattdessen zu beginnen, sie als Paare zu betrachten.
Sie haben das Rohmaterial (die Videobibliothek), die Regeln (die drei Rätsel) und einen Ausgangspunkt (die einfachen Modelle) bereitgestellt. Das Ziel ist es, eine KI zu entwickeln, die nicht nur Wörter hört, sondern den Rhythmus, den Einfluss und die Verbindung zwischen zwei Personen, die miteinander sprechen, versteht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.