🤖 AI

Learning to Communicate Across Modalities: Perceptual Heterogeneity in Multi-Agent Systems

Diese Arbeit untersucht emergente Kommunikation in heterogenen Multi-Agenten-Systemen und zeigt auf, dass multimodale Agenten im Vergleich zu unimodalen zwar eine klassen-konsistente, aber weniger effiziente und unsicherere Kommunikation erreichen, wobei Bedeutung distributiv statt kompositional kodiert wird, und dass die systemübergreifende Interoperabilität durch begrenztes Fine-Tuning trotz anfänglicher wahrnehmungsbedingter Fehlausrichtung wiederhergestellt werden kann.

Ursprüngliche Autoren: Naomi Pitzer, Daniela Mihai

Veröffentlicht 2026-01-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Naomi Pitzer, Daniela Mihai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich zwei Personen vor, die versuchen, gemeinsam ein Puzzle zu lösen, aber sie befinden sich in völlig unterschiedlichen Räumen und sehen jeweils nur verschiedene Teile des Bildes. Eine Person hört ein Geräusch (wie das Bellen eines Hundes) und die andere sieht ein Bild (von einem Hund). Sie haben sich noch nie getroffen, sprechen keine gemeinsame Sprache und können nicht sehen, was die andere Person sieht. Ihr einziger Weg zur Verbindung ist der Austausch kurzer „Beep-Boop“-Nachrichten (wie eine Serie von 1en und 0en), um herauszufinden, ob sie über dasselbe Thema sprechen.

Dieses Paper ist eine Studie darüber, wie diese beiden „Agenten“ (Computerprogramme) lernen, miteinander zu kommunizieren, wenn sie die Welt auf völlig unterschiedliche Weise erfahren. Hier ist das, was die Forscher herausgefunden haben, einfach erklärt:

1. Der „Verrauschte Walkie-Talkie“-Effekt

Wenn die beiden Agenten denselben Typ von Input teilen (beide hören Geräusche), werden sie sehr gut darin, ihre Gedanken in sehr kurze, effiziente Nachrichten zu komprimieren. Es ist wie bei zwei Menschen, die dieselbe Sprache sprechen; sie können viel mit nur wenigen Worten sagen.

Wenn jedoch einer hört und der andere sieht, wird die Konversation jedoch „rauschiger“. Um die gleiche Aufgabe zu erleden, müssen sie längere, detailliertere Nachrichten senden. Es ist, als würde man versuchen, ein visuelles Bild jemandem zu beschreiben, der nur hört; man muss mehr Wörter verwenden und weniger sicher sein, weil man zwischen zwei verschiedenen Welten übersetzt. Der „hörende“ Agent muss härter arbeiten, um zu erklären, was er hört, damit der „sehende“ Agent das richtige Bild erraten kann.

2. Der geheime Code ist ein Muster, kein Wörterbuch

Man könnte denken, dass in diesen Computersprachen eine bestimmte „1“ immer „Hund“ bedeutet und eine „0“ immer „Katze“. Die Forscher haben dies getestet, indem sie die Bits vertauscht haben (die 1en in 0en geändert haben) in den Nachrichten.

Sie fanden heraus, dass die Bedeutung nicht in den einzelnen Bits wie in einem Wörterbuch gespeichert ist. Stattdessen ist die Bedeutung über das gesamte Muster verteilt.

Die Analogie: Betrachten Sie eine Nachricht wie eine Melodie. Wenn man eine Note in einem Lied ändert, kann sich die ganze Melodie ändern, aber das bedeutet nicht, dass diese spezifische Note das Wort „glücklich“ ist. Die Bedeutung kommt daraus, wie alle Noten zusammenpassen.
Das Ergebnis: Einige Bits sind „konstant“ (sie bleiben fast immer gleich) und fungieren als das Rückgrat der Nachricht. Wenn man diese verändert, bricht die Nachricht komplett zusammen. Andere Bits sind „variabel“ und schwanken hin und her. Interessanterweise wurden die Agenten im gemischten Modalitäts-Setup (Hören vs. Sehen) weniger empfindlich gegenüber diesen schwankenden Bits, was darauf hindeutet, dass sie sich nur auf die wesentlichen, gemeinsamen Informationen konzentrierten, um die Kommunikationslücke zu überbrücken.

3. Der Sender bleibt seiner eigenen Welt treu

Auch wenn der „Empfänger“ die Welt anders sieht, versucht der „Sender“ (der die Nachrichten erstellt) nicht, so zu tun, als sähe er die Welt auf die gleiche Weise.

Die Analogie: Stellen Sie sich einen Musiker vor, der ein Lied für einen Maler spielt. Der Musiker versucht nicht, das Bild der Noten zu malen; er spielt die Musik genau so, wie er sie hört. Der Maler muss dann die Musik interpretieren, um das Lied zu verstehen.
Das Ergebnis: Die Forscher fanden heraus, dass die Nachrichten, die der Sender schickte, immer noch den „Fingerabdruck“ des Klangs (wie Tonhöhe oder Frequenz) trugen. Obwohl der Empfänger das Geräusch nicht hören konnte, spiegelte die Struktur der Nachricht immer noch die Eigenschaften des ursprünglichen Klangs wider. Der Sender löste sich nicht von seiner Realität; er hoffte einfach, dass der Empfänger es entschlüsseln kann.

4. Einen Tanz mit einem neuen Partner lernen

Der spannendste Teil war der Test, ob diese Agenten den Partner wechseln konnten.

Das Szenario: Sie nahmen einen „Sender“, der darauf trainiert war, mit einem „visuellen Empfänger“ zu kommunizieren, und koppelten ihn mit einem brandneuen „auditiven Empfänger“.
Das Resultat: Zuerお konnten sie sich überhaupt nicht verstehen. Es war, als würden zwei Menschen sprechen, die verschiedene Dialekte nutzen und sich noch nie getroffen haben. Aber nach einer sehr kurzen Phase des „Feintunings“ (dem Üben zusammen für nur wenige Runden) lernten sie jedoch schnell wieder, einander zu verstehen.
Der Clou: Sob[ie sie gelernt hatten, mit dem neuen Partner zu sprechen, wurden sie tatsächlich auch besser darin, mit dem ursprünglichen Partner zu kommunizieren, obwohl sie einen Mittelweg finden mussten. Dies zeigte, dass diese Agenten flexibel sind; sie können ihre „Sprache“ anpassen, um sich an die Art und Weise eines neuen Partners zu orienten, die Welt zu sehen.

Das Wichtigste in Kürze

Diese Studie zeigt, dass Kommunikation nicht voraussetzt, dass alle die exakt gleiche Sicht auf die Welt haben. Selbst wenn Agenten „blind“ füreinander sind, können sie eine gemeinsame Sprache aufbauen. Es kostet sie jedoch mehr Energie (längere Nachrichten) und erzeugt mehr Unsicherheit. Die Bedeutung, die sie erschaffen, ist kein starrer Code, sondern ein flexibles Muster, das sich an die Lücke zwischen ihren unterschiedlichen Realitäten anpasst.

Technisches Resümee: Lernen der Kommunikation über Modalitäten hinweg

Problemstellung
Die aktuelle Forschung im Bereich der emergenten Kommunikation geht weitgehend davon aus, dass interagierende Agenten homogene perzeptuelle Repräsentationen oder abgestimmte Repräsentationsräume teilen. Diese Annahme vernachlässigt eine kritische Dimension der realen Kommunikation: Interlokutoren bewohnen oft unterschiedliche perzeptuelle Welten (z. B. nimmt ein Agent über Audio wahr, während ein anderer über Vision wahrnimmt), müssen jedoch dennoch eine erfolgreiche Kommunikation etablieren. Diese Arbeit untersucht, wie eine solche perzeptuelle Heterogenität und Fehlausrichtung (Misalignment) die Struktur, Effizienz und Interoperabilität emergenter Kommunikationsprotokolle in Multi-Agenten-Systemen beeinflusst.

Methodik
Die Autoren erweitern das Rahmenwerk des multimodalen, mehrstufigen Referenzspiels (ursprünglich eingeführt von Evtimova et al., 2018) von einem Bild-Text-Szenario auf ein Audio-Bild-Szenario.

Aufgabe: Ein Sender (Sender) und ein Empfänger (Receiver) müssen ein Zielobjekt unter einer Menge von Distraktoren identifizieren. Der Sender beobachtet das Objekt in einer Modalität (z. B. das Bellen eines Hundes als Audio), während der Empfänger es in einer anderen beobachtet (z. B. ein Bild eines Hundes).
Protokoll: Die Interaktion ist ein mehrstufiger Dialog, bei dem der Sender eine $D$ -dimensionale binäre Nachricht ( $m^s_t$ ) aussendet. Der Empfänger entscheidet, ob er den Dialog beendet und das Objekt rät oder mit einer Nachricht ( $m^r_t$ ) antwortet.
Agenten: Der Sender ist ein Feed-Forward-Neuronales-Netzwerk; der Empfänger ist ein rekurrentes Neuronales Netz. Beide werden gemeinsam unter Verwendung von RMSprop trainiert, um eine kombinierte Zielfunktion aus Klassifikationsverlust, REINFORCE-basiertem Reinforcement-Loss und Entropie-Regularisierung zu minimieren.
Datensätze: Experimente nutzen einen synthetischen „Shapes World“-Datensatz für kontrollierte Evaluationen sowie einen naturalistischen Datensatz, der CIFAR-100-Bilder mit UrbanSound8K und ESC-50 Sounds kombiniert, um die Leistung unter verrauschten Bedingungen zu bewerten.
Vergleiche: Die Studie vergleicht multimodale Systeme (Audio $\to$ Bild) mit unimodalen Baselines (Audio $\to$ Audio).

Wesentliche Ergebnisse

Effizienz und Unsicherheit: Perzeptuelle Fehlausrichtung beeinflusst die Kommunikationseffizienz signifikant. Während beide Systeme eine Nachrichtenkompression bis zu einem gewissen Schwellenwert tolerieren, benötigen multimodale Agenten einen größeren Informationsaustausch (längere Nachrichten), um die Genauigkeit im Vergleich zu unimodalen Agenten aufrechtzuerhalten. Wenn die Nachrichtenlänge abnimmt, sinkt die Genauigkeit der multimodalen Systeme und die Klassifikationsentropie (Unsicherheit) steigt, was darauf hindeutet, dass fehlausgerichtete perzeptuelle Repräsentationen Rauschen in den Kommunikationskanal einführen.
Protokoll-Konsistenz:
- Sender-Konsistenz: Sender entwickeln starke klassen-konsistente Nachrichten und konvergieren gegen deterministische Kodierungen. Diese Konsistenz nimmt zu, wenn die Nachrichtkapazität eingeschränkt wird.
- Inter-Agenten-Konsistenz: Trotz der internen Konsistenz des Senders gibt es kaum oder gar keine Korrelation zwischen den Nachrichten des Senders und des Empfängers. Dies deutet darauf hin, dass die Agenten nicht auf ein gemeinsames Set von Signalen konvergieren, sondern individuelle Protokolle entwickeln.
Grounding und Semantik:
- Bit-Perturbation: Bedeutung wird auf eine distributionale statt eine kompositionale Weise kodiert. Das Perturbieren von „konstanten“ Bits (die konsistent 0 oder 1 sind) führt zu einem starken Abfall der Genauigkeit, während das Perturbieren von „variablen“ Bits minimale Auswirkungen hat. Entscheidend ist, dass die informationelle Rolle eines Bits von seinem umgebenden Muster abhängt; kein einzelnes Bit trägt eine feste, interpretierbare Bedeutung unabhängig vom Kontext.
- Perzeptuelles Grounding: Selbst wenn der Empfänger eine andere Modalität nutzt, bleibt die Nachricht des Senders in dessen eigenem perzeptuellen Raum geerdet. t-SNE-Visualisierungen zeigen, dass die Nachrichten-Embeddings nach niederschwelligen perzeptuellen Merkmalen (z. B. Audiofrequenz) clustern, was darauf hindeutet, dass das Kommunikationsprotokoll Spuren der perzeptuellen Struktur des Senders bewahrt.
Interoperabilität: Systeme, die in unterschiedlichen perzeptuellen Kontexten trainiert wurden (z. B. ein Audio-trainierter Sender gepaart mit einem Bild-trainierten Empfänger), können ohne Anpassung nicht effektiv kommunizieren (die Genauigkeit fällt auf das Niveau des Zufallsraten ab). Jedoch ermöglicht ein begrenztes Fine-Tuning (sogar nur 2–15 Epochen) eine erfolgreiche Kommunikation zwischen den Systemen. Ein erweitertes Fine-Tuning zeigt einen Trade-off auf: Während die neue Paarung die Leistung verbessert, kann die Leistung mit dem ursprünglichen Partner leicht sinken.

Bedeutung und Thesen
Das Paper positioniert die emergente Kommunikation als einen Rahmen zur Untersuchung, wie Agenten Repräsentationen über heterogene Modalitäten hinweg adaptieren und transferieren. Die Autoren behaupten:

Perzeptuelle Fehlausrichtung erzeugt eine „Modalitätslücke“, die eine höhere Kapazität für zuverlässige Kommunikation erforderlich macht.
Die Bedeutung in diesen emergenten Systemen ist über Nachrichtenmuster verteilt und nicht kompositional oder auf einzelne Bits lokalisiert.
Kommunikationsprotokolle können auch dann in der spezifischen perzeptuellen Realität des Senders geerdet bleiben, wenn der Empfänger keinen Zugriff auf diese Modalität hat.
Agenten besitzen die Fähigkeit, ihre Protokolle durch minimales Fine-Tuning schnell an neue Interlokutoren mit unterschiedlichen perzeptuellen Realitäten anzupassen.

Diese Erkenntnisse bieten eine theoretische Basis für das Verständnis, wie gemeinsames Verständnis über divergente perzeptuelle Welten hinweg entstehen kann, mit potenziellen Implikationen für die Robotik, Epistemologie und Theorien der Verkörperung (Embodiment). Die Autoren schlagen vor, zukünftige Arbeiten auf verkörperte Agenten-Systeme (z. B. Roboter) und alternative Architekturen auszuweiten, um eine umfassendere Theorie der heterogenen emergenten Kommunikation zu entwickeln.