⚡ electrical engineering

Learning Probabilistic Responsibility Allocations for Multi-Agent Interactions

Diese Arbeit stellt eine Methode vor, die mithilfe eines bedingten Variational Autoencoders und einer differenzierbaren Optimierungsschicht ein probabilisches Modell zur Vorhersage der Verantwortungszuweisung in Multi-Agenten-Interaktionen lernt, um damit sozial konforme autonome Systeme zu ermöglichen.

Ursprüngliche Autoren: Isaac Remy, Caleb Chang, Karen Leung

Veröffentlicht 2026-04-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Isaac Remy, Caleb Chang, Karen Leung

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie fahren mit dem Auto durch eine belebte Kreuzung. Jeder Fahrer hat ein Ziel: schnell nach Hause kommen. Aber alle müssen sich auch an die Regeln halten und niemanden gefährden. Die große Frage ist: Wer muss eigentlich nachgeben, wenn es eng wird?

Wenn zwei Autos aufeinander zufahren, muss einer bremsen oder ausweichen. Wer ist dafür „verantwortlich"? Ist es der, der schneller war? Der, der von rechts kam? Oder der, der einfach nur ungeduldig ist?

Dieses Papier von Isaac Remy, Caleb Chang und Karen Leung versucht genau das zu verstehen: Wie teilen sich Menschen die Verantwortung auf, damit niemand einen Unfall baut? Und wie können wir das so programmieren, dass autonome Fahrzeuge (Roboter-Autos) das auch können?

Hier ist die Erklärung in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Das Problem: Der „Egoistische" vs. der „Soziale" Fahrer

Stellen Sie sich vor, jedes Auto hat einen inneren Wunsch: „Ich will so schnell wie möglich geradeaus fahren!" (Das ist der Ego-Zustand). Aber wenn ein anderes Auto kommt, muss man vielleicht bremsen.

Frühere Modelle haben versucht, eine feste Regel zu finden: „Wenn Auto A und B sich nähern, muss Auto A immer 30% bremsen." Das Problem ist: Menschen sind nicht wie Roboter mit festen Regeln. Manchmal ist man sehr höflich und weicht aus, manchmal ist man etwas aggressiver. Es gibt viele Möglichkeiten, wie eine Situation sicher gelöst werden kann.

Die Autoren sagen: Wir brauchen kein festes Regelbuch, sondern ein Wahrscheinlichkeits-Modell. Statt zu sagen „Auto A muss bremsen", sagen wir: „In dieser Situation ist es wahrscheinlich, dass Auto A etwas nachgibt, aber es könnte auch Auto B sein."

2. Die Lösung: Ein „Verantwortungs-Generator" (Das CVAE)

Die Forscher haben ein KI-Modell gebaut, das wie ein Zauberwürfel funktioniert.

Der Würfel (Der latente Raum): Stellen Sie sich vor, das Modell hat einen unsichtbaren Würfel im Kopf. Wenn es die Szene sieht (wer ist wo, wie schnell fahren sie?), wirft es diesen Würfel.
Der Wurf: Der Wurf entscheidet, wie die Verantwortung verteilt wird.
- Wurf 1: „Okay, das rote Auto ist sehr höflich, es weicht aus."
- Wurf 2: „Nein, das grüne Auto ist schneller, das rote Auto bleibt stehen."
Das Ergebnis: Das Modell lernt nicht nur eine Antwort, sondern alle möglichen Antworten, die Menschen in der Realität geben würden. Es versteht, dass es mehrere „richtige" Wege gibt, eine Kreuzung sicher zu passieren.

3. Der Trick: Wir wissen nicht, wer verantwortlich ist (Aber wir sehen das Ergebnis)

Das ist der kniffligste Teil. In echten Aufnahmen von Autos sehen wir, wie die Autos fahren (die Bewegung), aber wir sehen nicht, was im Kopf des Fahrers vorging. Wir wissen nicht: „Hat der Fahrer jetzt 80% Verantwortung übernommen oder nur 20%?"

Wie lernt die KI das also?
Stellen Sie sich vor, Sie sehen einen Zaubertrick. Der Zauberer (die KI) macht eine Bewegung, und das Ergebnis ist, dass ein Ball in der Luft schwebt. Die KI weiß nicht genau, welche Handbewegung (Verantwortung) der Zauberer gemacht hat, aber sie weiß: „Wenn ich diese bestimmte Handbewegung mache, schwebt der Ball."

Die KI probiert also tausende verschiedene „Verantwortungs-Verteilungen" durch. Sie nimmt eine Verteilung, rechnet aus: „Was würde passieren, wenn wir diese Verantwortung anwenden?" und vergleicht das Ergebnis mit dem, was in der Realität passiert ist. Wenn es passt, hat sie etwas gelernt.

4. Der „Sicherheits-Filter" (Der strenge Schiedsrichter)

Das Herzstück des Systems ist ein mathematischer Sicherheits-Filter (basierend auf sogenannten Control Barrier Functions).
Stellen Sie sich diesen Filter wie einen strengen Schiedsrichter vor, der auf dem Spielfeld steht.

Jeder Fahrer hat einen Wunsch-Schuss (das gewünschte Lenken/Bremsen).
Der Schiedsrichter schaut: „Wenn ihr beide so schießt, gibt es einen Zusammenstoß!"
Dann greift er ein und sagt: „Du musst 10% weniger schießen, du 20%."
Die Verantwortung (γ) bestimmt, wie stark der Schiedsrichter bei jedem einzelnen Spieler eingreift. Ist der Wert hoch, muss der Spieler stark nachgeben. Ist er niedrig, darf er fast so spielen, wie er will.

Die KI lernt nun, wie die Schiedsrichter-Entscheidungen (die Verantwortung) in der echten Welt aussehen, damit das Ergebnis (die Fahrspur) sicher ist.

5. Was haben sie herausgefunden?

Sie haben das Modell mit echten Daten von der Kreuzung „INTERACTION" trainiert (Aufnahmen von Drohnen).

Es funktioniert: Das Modell kann vorhersagen, wie sich Autos bewegen werden, besser als einfache Modelle, die nur „geradeaus fahren" wollen.
Es ist verständlich: Das Modell zeigt uns Muster. Zum Beispiel: Wenn ein rotes Auto schon lange an der Kreuzung wartet und ein grünes Auto gerade erst kommt, zeigt das Modell, dass das grüne Auto eine höhere Verantwortung hat, nachzugeben (es muss mehr bremsen). Das passt zu unserem menschlichen Bauchgefühl!
Die Überraschung: Manchmal ist es besser, wenn die KI nicht nur eine Antwort gibt, sondern mehrere Möglichkeiten (Multimodalität). Denn in der echten Welt gibt es nicht die eine richtige Lösung, sondern viele, die alle sicher sind.

Zusammenfassung in einem Satz

Die Forscher haben eine KI entwickelt, die nicht nur vorhersagt, wohin Autos fahren, sondern versteht, wer in einer gefährlichen Situation nachgeben muss, indem sie die unsichtbare „Verantwortung" zwischen den Fahrern wie einen Würfelwurf simuliert, der dann von einem strengen Sicherheits-Schiedsrichter geprüft wird.

Das Ziel ist es, Roboter-Autos zu bauen, die nicht nur regelkonform, sondern auch sozial intelligent und vorhersehbar für uns Menschen sind – genau wie ein guter, rücksichtsvoller Fahrer.

1. Problemstellung und Motivation

Das zentrale Problem der Arbeit ist die Modellierung menschlichen Verhaltens in interaktiven Szenarien (z. B. im Straßenverkehr). Menschliches Verhalten wird nicht nur durch individuelle Ziele (z. B. schnelle Ankunft) bestimmt, sondern auch durch geteilte Einschränkungen wie die Sicherheit anderer.

Herausforderung: Bisherige Ansätze zur Vorhersage von Verhalten oder zur Planung autonomer Systeme nutzen oft deterministische Modelle oder basieren auf der Annahme bekannter Zielsetzungen (Inverse Reinforcement Learning). Dies ignoriert die inhärente multimodale Unsicherheit menschlicher Interaktionen.
Konzept der Verantwortung (Responsibility): Die Autoren definieren „Verantwortung" als das Ausmaß, in dem ein Agent bereit ist, von seinem gewünschten Verhalten (z. B. gewünschte Geschwindigkeit) abzuweichen, um eine gemeinsame Sicherheitsbedingung (z. B. Kollisionsvermeidung) einzuhalten.
Lücke: Es gibt keine Ground-Truth-Daten für diese „Verantwortungszuweisungen" ( $\gamma$ ). Zudem sind deterministische Zuweisungen zu starr, um die Bandbreite menschlicher Reaktionen (z. B. aggressiv vs. defensiv) in derselben Situation abzubilden.

2. Methodik

Die vorgeschlagene Methode lernt eine probabilistische Verteilung über Verantwortungszuweisungen ( $\gamma$ ) basierend auf dem Szenenkontext ( $s$ ), ohne direkte Labels für $\gamma$ zu benötigen.

A. Theoretische Grundlage: Control Barrier Functions (CBF)

Das Framework baut auf Control Barrier Functions auf, die sicherstellen, dass ein System innerhalb eines sicheren Bereichs bleibt.

Sicherheitsfilter: Ein Sicherheitsfilter minimiert die Abweichung von einem gewünschten Steuerbefehl ( $u_{des}$ ), solange die CBF-Bedingung erfüllt ist.
Verantwortungsallokation: In Multi-Agenten-Szenarien wird ein Vektor $\gamma = [\gamma_1, ..., \gamma_N]$ eingeführt. Ein hoher Wert für $\gamma_i$ bedeutet, dass Agent $i$ weniger bereit ist, von seinem Wunschverhalten abzuweichen (weniger Verantwortung für die Sicherheit). Ein niedriger Wert bedeutet hohe Bereitschaft zur Abweichung (hohe Verantwortung).
Optimierungsproblem: Das Problem wird als quadratisches Programm (QP) formuliert, das die Summe der gewichteten Abweichungen aller Agenten minimiert, unter der Nebenbedingung, dass die gemeinsame Sicherheit (durch eine Matrix $G$ und Vektor $h$ für alle Paare) gewährleistet ist.

B. Probabilistisches Lernen mit Conditional Variational Autoencoders (CVAE)

Da $\gamma$ nicht direkt beobachtbar ist, wird ein generatives Modell verwendet:

Architektur: Ein Conditional Variational Autoencoder (CVAE).
- Bedingung (Input): Der Szenenkontext $s$ (Verlauf der Trajektorien, Agentenstatus).
- Latenter Raum ( $z$ ): Ein Gaußscher latenter Raum, der die multimodale Unsicherheit der Verantwortungsfaktoren kodiert.
- Decoder: Der Decoder besteht aus neuronalen Netzen, die $z$ in die Verantwortungsallokation $\gamma$ abbilden.
Differentiable Optimization Layer: Der entscheidende Innovationsschritt ist die Integration des CBF-Sicherheitsfilters (Problem 2) als differentiable layer im Decoder.
- Der Decoder generiert $\gamma$ .
- $\gamma$ wird in das Optimierungsproblem eingespeist, um die induzierten Steuerbefehle $\hat{u}$ zu berechnen.
- Der Verlust wird zwischen den vorhergesagten Steuerbefehlen $\hat{u}$ und den tatsächlich beobachteten Daten $u$ berechnet.
- Durch Rückwärtspropagation durch den differentierbaren Optimierer lernt das Modell die Verteilung $p(\gamma|s)$ , die die beobachteten Daten am besten erklärt.

C. Sequenz-basierte Vorhersage (Transformer)

Um komplexe Szenen mit variabler Anzahl von Agenten und zeitlichen Abhängigkeiten zu handhaben, wird die Architektur auf AgentFormer (einem Transformer-basierten Modell) erweitert:

Input: Sequenzen von Agentenzuständen (Position, Geschwindigkeit, Typ) über die Zeit.
Mechanismus: Der Transformer nutzt Self-Attention, um Beziehungen zwischen Agenten zu lernen, und ist permutationsinvariant (die Reihenfolge der Agenten spielt keine Rolle).
Output: Eine Verteilung über $\gamma$ für den aktuellen Zeitpunkt, die auf der Historie basiert.

3. Hauptbeiträge (Contributions)

Probabilistische Formulierung: Einführung eines probabilistischen Modells für Verantwortungszuweisungen, das die Multimodalität menschlichen Verhaltens erfasst, im Gegensatz zu vorherigen deterministischen Ansätzen.
Lernarchitektur: Entwicklung eines sequenz-zu-sequenz Modells (basierend auf Transformern und CVAE), das Verantwortungszuweisungen indirekt durch induzierte Steuerbefehle lernt, ohne Ground-Truth-Labels für $\gamma$ zu benötigen.
Skalierbarkeit und Interpretierbarkeit: Das Modell skaliert auf Szenen mit vielen Agenten und bietet durch die explizite Modellierung von $\gamma$ interpretierbare Einblicke in die Interaktionsdynamik (wer ist „schuld" oder wer weicht aus?).

4. Ergebnisse und Evaluation

Die Methode wurde auf synthetischen Daten und dem realen INTERACTION-Datensatz (Drohnenaufnahmen von Verkehrsknotenpunkten) evaluiert.

Synthetische Daten: Das Modell konnte erfolgreich eine bimodale Ground-Truth-Verteilung von $\gamma$ rekonstruieren. Es zeigte, dass sowohl der latente Raum als auch die induzierten Steuerbefehle die wahre Verteilung genau abbilden.
INTERACTION-Datensatz:
- Quantitativ: Die durch das Verantwortungmodell erzeugten Trajektorien zeigten eine deutlich bessere Vorhersageleistung (niedrigerer Average Displacement Error - ADE) im Vergleich zu reinen Heuristiken (z. B. Beibehaltung der Wunschgeschwindigkeit).
- Ablationsstudie: Verschiedene Aktivierungsfunktionen für $\gamma$ wurden getestet. Modelle, die negative Werte für $\gamma$ zulassen (z. B. tanh oder clip(-β, ∞)), performten besser, da sie flexiblere Strategien (z. B. Beschleunigen statt nur Bremsen) abbilden konnten.
- Qualitativ: Das Modell lieferte intuitive Ergebnisse. In einem Fall mit drei Autos zeigte das Modell eine bimodale Verteilung für das ankommende grüne Auto (es könnte beschleunigen oder bremsen), während das rote Auto, das bereits wartete, eine hohe Verantwortung (niedriger $\gamma$ ) zeigte. Dies entspricht menschlicher Intuition.

5. Bedeutung und Fazit

Vertrauenswürdige autonome Systeme: Das Paper bietet einen Weg, autonome Systeme nicht nur als „Vorhersagemaschinen", sondern als Systeme zu verstehen, die soziale Normen und Sicherheitsverantwortung explizit modellieren.
Interpretierbarkeit: Im Gegensatz zu „Black-Box"-Vorhersagemodellen erlaubt der Ansatz, die Entscheidungsfindung durch die Linse der Verantwortung zu analysieren.
Zukunftsausblick: Die Autoren sehen Potenzial darin, komplexe Straßengeometrien, visuelle Kontexte (Verkehrszeichen) und diverse Agententypen (Fußgänger, Fahrräder) einzubeziehen. Zudem könnten die gelernten Modelle genutzt werden, um menschliche oder robotische Politiken durch kontrafaktische Szenarien zu analysieren.

Zusammenfassend stellt die Arbeit einen bedeutenden Schritt dar, um die Lücke zwischen deterministischen Sicherheitsfiltern und der komplexen, unsicheren Realität menschlicher Interaktionen zu schließen, indem sie Verantwortung als lernbare, probabilistische Größe behandelt.