🤖 AI

Align AI to Dynamic Human-AI Workflows

Dieses Paper plädiert für eine Verschiebung der KI-Ausrichtung von statischen, emulativen Ansätzen hin zu einem dynamischen, interaktiven Rahmenwerk, in dem menschliche und KI-Verhaltensweisen koevolvieren, wobei es interdisziplinäre Erkenntnisse nutzt, um neue Koordinationsherausforderungen zu adressieren und eine Forschungsagenda für komplementäre Ausrichtung zu skizzieren.

Ursprüngliche Autoren: Valerie Chen, Cleotilde Gonzalez, Anita Williams Woolley, Michael Lee, Tongshuang Wu, Vincent Conitzer, Aarti Singh

Veröffentlicht 2026-07-17

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Valerie Chen, Cleotilde Gonzalez, Anita Williams Woolley, Michael Lee, Tongshuang Wu, Vincent Conitzer, Aarti Singh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Der Tanz von Geist und Maschine

Stellen Sie sich eine Welt vor, in der Computer nicht einfach nur Befehle befolgen wie gehorsame Roboter, sondern tatsächlich mit uns zusammenarbeiten wie Teamkollegen. Dies ist die Grenze der Alignment-Forschung bei Künstlicher Intelligenz (KI). Vereinfacht ausgedrückt ist „Alignment“ der Prozess, einer KI beizubringen, das zu tun, was Menschen tatsächlich wollen, und nicht nur das, was wir ihr sagen. Lange Zeit haben Wissenschaftler versucht, KI durch das Zeigen von Beispielen menschlichen Verhaltens zu alignen, indem sie sagten: „Kopiere das.“ Es ist, als würde man einem Hund das Sitzen beibringen, indem man ihm ein Bild eines sitzenden Hundes zeigt. Aber das echte Leben ist kein Bild; es ist ein chaotischer, sich ständig verändernder Film. Wir kümmern uns darum, weil die KI immer klüger wird und uns dabei hilft, Code zu schreiben, Autos zu fahren oder Krankenhäuser zu verwalten, und wir sicherstellen müssen, dass sie uns nicht nur nachahmt, sondern uns tatsächlich dabei hilft, im Laufe der Zeit besser in unseren Aufgaben zu werden. Wenn die KI und der Mensch nicht lernen können, einander zu vertrauen und die Rollen reibungslos zu wechseln, könnte das gesamte Team abstürzen.

Die große Idee des Papers: Von Schnappschüssen zu Filmen

Dieses Paper argumentiert, dass die aktuelle Art und Weise, wie wir KI trainieren, so ist, als würde man ein einzelnes, eingefrorenes Foto eines Tanzes machen und versuchen, einem Roboter das Tanzen allein auf Basis dieses einen Standbildes beizubringen. Die Autoren, ein Team von Forschern der Carnegie Mellon University und der University of California, Irvine, schlagen vor, dass wir aufhören sollten, „Schnappschüsse“ zu betrachten, und statfangen sollten, den ganzen „Film“ zu schauen.

Das Problem mit der alten Methode
Derzeit funktioniert die meiste KI-Alignment-Arbeit wie ein Spiel des „Raten von Präferenzen“. Man zeigt der KI zwei Antworten, fragt einen Menschen, welche er bevorzugt, und die KI versucht zu erraten, was der Mensch beim nächsten Mal wollen wird. Das Paper weist darauf hin, dass dies zu statisch ist. Es setzt voraus, dass sich menschliche Präferenzen niemals ändern. Aber im echten Leben ändert sich unser Vertrauen in ein Werkzeug ständig.

Denken Sie an einen Entwickler, der einen KI-Coding-Assistenten nutzt. Zu Beginn vertraut der Entwickler der KI vielleicht vollkommen und lässt sie Code schnell schreiben. Aber wenn die KI ein paar Fehler macht, wird der Entwickler nervös und beginnt, jede einzelne Zeile Code zu überprüfen. Wenn die KI sich dann eine Zeit lang als zuverlässig erweist, entspannt sich der Entwickler wieder und lässt die KI mehr Kontrolle übernehmen. Das Paper nennt dies einen dynamischen Workflow. Die alten Methoden übersehen dies, weil sie nur einen Moment in der Zeit betrachten und die Geschichte ignorieren, wie Mensch und KI miteinander interagiert haben. Sie behandeln den Menschen als statischen Labeler von „guten“ und „schlechten“ Antworten, statt als Partner, dessen Geist sich ständig wandelt.

Der neue Vorschlag: Ein dynamischer Tanz
Die Autoren schlagen einen neuen Weg vor, über Alignment nachzudenken: Interaktives und komplementäres Alignment. Anstatt nur zu versuchen, die KI so agieren zu lassen wie einen Menschen, sollte das Ziel sein, dass das Team aus Mensch und KI über die Zeit hinweg besser zusammenarbeitet.

Stellen Sie sich eine Jazzband vor. Im alten Modell ist die KI ein Musiker, der versucht, die Noten perfekt zu kopieren, die der Mensch geschrieben hat. Im neuen Modell ist die KI ein Jazz-Partner. Manchmal spielt der Mensch ein Solo, und die KI hört zu und unterstützt ihn. Manchmal übernimmt die KI die Führung mit einem komplexen Riff, und der Mensch tritt zurück, um zuzuhören. Sie passen sich ständig aneinander an. Das Paper legt nahe, dass die beste KI nicht diejenine ist, die uns perfekt nachahmt, sondern diejenige, die weiß, wann sie vorwärts treten, wann sie zurücktreten und wie sie uns helfen kann, mit Unsicherheit umzuge-gehen.

Was sie getan und gefunden haben
Um herauszufinden, wie man eine solche KI baut, haben die Forscher nicht nur Computersimulationen durchgeführt. Sie hielten einen Workshop mit 70 Experten aus zwei sehr unterschiedlichen Welten ab: Maschinelles Lernen (die Programmierer) und Sozialwissenschaften (Psychologen, Organisationsexperten und Kognitionswissenschaftler). Sie wollten sehen, was passiert, wenn man die Logik von Algorithmen mit der chaotischen Realität menschlicher Teamarbeit mischt.

Hier ist das, was sie aus diesem interdisziplinären Austausch entdeckt haben:

Vertrauen ist ein lebendiges Ding: In menschlichen Teams ist Vertrauen kein Schalter, der entweder „an“ oder „aus“ ist. Es ist eine Beziehung, die wächst, schrumpft und sich basierend auf dem, was im Moment geschieht, verändert. Wenn ein Teammitglied einen Fehler macht, ihn aber zugibt und korrigiert, kann das Vertrauen tatsächlich stärker werden. Aber wenn jemand lügt oder versteckte Motive zeigt, verschwindet das Vertrauen augenblicklich. Das Paper legt nahe, dass die KI diesen Ebb und Flut verstehen muss, nicht nur einen einzelnen Score darüber, „wie sehr du mich magst“.
Das „Wer weiß was“-Problem: Gute Teams haben eine gemeinsame Landkarte darüber, wer was gut kann. Dies wird als „transaktives Gedächtnis“ bezeichnet. Wenn ein Teammitglied ein leckendes Rohr reparieren muss, weiß es, dass es den Klempner fragen muss, nicht den Buchhalter. Das Paper argumentiert, dass KI-Systeme dabei helfen müssen, diese gemeinsame Landkarte aufzubauen. Sie müssen wissen, wann sie sagen müssen: „Ich bin mir nicht sicher, du übernimmst das“, oder „Diesen Teil kann ich machen, du konzentrierst dich auf das.“
Der KI-Twist: Das Paper warnt, dass Mensch-KI-Teams anders sind als Mensch-Mensch-Teams. Eine KI ist superschnell und erinnert sich an alles, hat aber keinen Ruf oder ein Gesicht. Es ist für Menschen schwieriger zu wissen, ob eine KI „lügt“ oder nur verwirrt ist. Da die KI die sozialen Signale vermissen lässt, die wir nutzen, um Menschen zu beurteilen, kann es schwieriger sein, ihr zu vertrauen, was entweder zu Übervertrauen (zu viel Vertrauen) oder Unternutzung (Ignorieren, obwohl sie recht hat) führt.

Die Hindernisse
Die Autoren sind vorsichtig und sagen, dass sie noch nicht alles gelöst haben. Sie identifizierten drei große Hürden, die dem Bau dieser dynamischen Teams im Wege stehen:

Die Theorie-Lücke: Wir haben nicht genug Theorien darüber, wie Menschen und KI über lange Zeiträume interagieren. Wir wissen viel darüber, wie Menschen zusammenarbeiten, aber KI ist ein neuer, seltsamer Partner.
Die Realitäts-Lücke: Es ist schwer, diese Ideen zu testen, da die meisten realen Daten (wie Menschen KI tatsächlich bei der Arbeit nutzen) in privaten Unternehmen verschlossen sind. Forscher sind darauf angewiesen, in Laboren zu testen, was nicht immer dem echten Leben entspricht.
Die Mess-Lücke: Wir haben keine guten Lineale, um „gutes Teamwork“ über die Zeit zu messen. Wir können messen, ob eine Aufgabe erledigt wurde, aber es ist schwer zu messen, ob Mensch und KI gelernt haben, sich nach der Aufgabe besser zu vertrauen.

Was kommt als Nächstes?
Das Paper schließt mit dem Vorschlag, dass die Zukunft der KI nicht darin besteht, intelligentere Roboter zu erschaffen, die wie wir handeln. Es geht darum, Systeme zu schaffen, die sich an uns anpassen können, unsere wechselnden Stimmungen und Vertrauensstufen verstehen und uns helfen, unsere einzigartigen Fähigkeiten zu koordinieren. Sie fordern eine Zukunft, in der Informatiker und Sozialwissenschaftler zusammenarbeiten, um KI zu entwerfen, die nicht nur Fragen beantwortet, sondern uns hilft, den komplexen, sich ständig ändernden Tanz der realen Arbeitswelt zu navigieren.

Die Autoren legen nahe, dass dieser Wandel notwendig ist, geben aber auch zu, dass es eine riesige Herausforderung ist. Sie behaupten nicht, heute die endgültige Antwort zu haben; vielmehr zeichnen sie eine Landkarte für die Reise vor und fordern die Gemeinschaft auf, aufzuhören, statische Schnappschüsse zu betrachten, und stattdessen den ganzen Film der Mensch-KI-Kollaboration zu drehen.

Technisches Resümee: Ausrichtung von KI auf dynamische Mensch-KI-Workflows

Problemstellung

Aktuelle Paradigmen der KI-Ausrichtung (Alignment) stützen sich überwiegend auf statische und emulative Ansätze. Diese Methoden optimieren Modelle darauf, menschliches Verhalten zu imitieren oder statische Präferenzfunktionen zu erfüllen (z. B. durch Reinforcement Learning from Human Feedback, Behavior Cloning oder Dueling Bandits) basierend auf isolierten Input-Output-Paaren. Das Paper argumentiert, dass dieser Rahmen nicht in der Lage ist, die dynamische, kontextabhängige Natur realer Mensch-KI-Interaktionen zu erfassen.

In praktischen Arbeitsabläufen (z. B. ein Entwickler, der einen KI-Coding-Assistenten nutzt) entwickeln sich menschliche Präferenzen, Vertrauen und Abhängigkeit über die Zeit hinweg basierend auf der Interaktionshistorie. Statische Ausrichtung behandelt den Menschen als eine feste Quelle von Präferenz-Labels und die KI als ein System, das auf unmittelbare Zufriedenheit optimiert wird. Dies übersieht die Tatsache, dass effektive Zusammenarbeit Komplementarität erfordert, bei der Rollen sich anpassen und Verhaltensweisen über Sequenzen von Interaktionen hinweg ko-evolvieren. Die bestehende Lücke besteht darin, dass aktuelle Formulierungen keine longitudinalen Trajektorien berücksichtigen, in denen sich menschliche und Modell-Verhaltensweisen gegenseitig beeinflussen, noch optimieren sie auf gemeinsame Ergebnisse über die Zeit.

Methodik

Das Paper verwendet eine konzeptionelle und interdisziplinäre Synthese anstelle eines neuen empirischen Algorithmus oder Datensatzes. Die Methodik besteht aus drei primären Komponenten:

Formalisierung der Lücke: Die Autoren kontrastieren standardmäßige statische Alignment-Ziele mit einem vorgeschlagenen Trajektorien-basierten Blickwinkel.
- Statischer Blickwinkel: Optimiert $\pi_\theta$ , um den erwarteten Reward $E[\hat{r}(x, y)]$ über isolierte Outputs zu maximieren.
- Vorgeschlagener Blickwinkel: Modelliert die Interaktion als Trajektorie $\tau = (x_1, a^A_1, a^B_1, \dots, x_T, a^A_T, a^B_T)$ , wobei Aktionen abhängig von der Historie $\tau_{<t}$ und latenten Zuständen (Ziele, Überzeugungen) sind. Das Ziel ist die Maximierung der Summe der Rewards über die Trajektorie: $E_{\tau}[\sum r^*(x_t, a^H_t, a^{AI}_t; \tau_{<t})]$ . Diese Formulierung bezieht explizit Interaktionshistorie, Koordination und gemeinsame Ergebnisse ein.
Interdisziplinäre Workshop-Synthese: Um diese Perspektive zu fundieren, veranstalteten die Autoren einen Workshop mit 70 Teilnehmern aus den Bereichen maschinelles Lernen und Sozialwissenschaften (Mensch-Computer-Interaktion, Kognitionswissenschaft, Organisationspsychologie).
- Verfahren: Der Workshop nutzte Tutorials, strukturierte Brainstorming-Sessions und rotierende Diskussionsgruppen, um Erkenntnisse aus der Mensch-Mensch-Kollaboration zu synthetisieren und auf Mensch-KI-Settings zu extrapolieren.
- Datenquelle: Die Ergebnisse wurden aus Diskussionen, schriftlichen Zusammenfassungen und Pre-Workshop-Umfragen abgeleitet, die Barrieren und zukünftige Richtungen identifizierten.
Theoretische Analyse: Das Paper analysiert, wie Prinzipien der Mensch-Mensch-Kollaboration (Vertrauensevolution, transaktives Gedächtnis, gemeinsame mentale Modelle) auf Mensch-KI-Systeme übertragen werden können, und identifiziert spezifische Asymmetrien sowie neue Herausforderungen, die durch KI-Agenten eingeführt werden.

Kernbeiträge

1. Formalisierung von „Komplementärer Ausrichtung“

Das Paper schlägt einen Wechsel von emulativer Ausrichtung (Nachahmung menschlicher Outputs) hin zu interaktiver und komplementärer Ausrichtung vor. In diesem Rahmen:

Präferenzen sind emergent: Sie sind keine statischen Labels, sondern entwickeln sich durch Interaktion.
Optimierung ist trajektorienbasiert: Das Ziel ist es, das Verhalten des Mensch-KI-Systems über die Zeit zu optimieren, nicht nur den Output des Modells in einem einzelnen Schritt.
Komplementarität: Mathematisch definiert als ein Zustand, in dem der gemeinsame Reward von Mensch- und KI-Aktionen den maximal erreichbaren Reward übersteigt, den entweder der Mensch oder die KI allein durch ihre jeweilige Aktion erzielen könnte ( $r^*(a^H, a^{AI}) > \max(r^*(a^H, \emptyset), r^*(\emptyset, a^{AI}))$ ).

2. Interdisziplinäre Erkenntnisse über Dynamiken

Unter Rückgriff auf den Workshop identifiziert das Paper zwei Kernlektionen aus der Mensch-Mensch-Kollaboration und deren Transformation in Mensch-KI-Settings:

Vertrauensevolution: Vertrauen ist multidimensional (Kompetenz, Wohlwollen, Integritität) und entwickelt sich basierend auf der Interaktionshistorie. In Mensch-KI-Settings wird dies durch verstärkte Asymmetrien (KI-Geschwindigkeit, Skalierbarkeit, Mangel an sozialen Signalen) und Interpretierbarkeitsprobleme erschwert, was es für Nutzer schwierig macht, genaue mentale Modelle der KI-Kompetenz oder -Intention zu bilden.
Koordination und Komplementarität: Effektive Teams nutzen „transaktives Gedächtnis“ (Wissen, wer was weiß) und „gemeinsame mentale Modelle“, um zu koordinieren. In Mensch-KI-Workflows können KI-Systeme das Arbeitsergebnis und den Koordinationsprozess umgestalten (z. B. durch Entwürfe oder Zusammenfassungen), was neue Formen des expliziten Designs erfordert, um Unsicherheit und Rollenverteilung zu steuern.

3. Identifikation von Barrieren und Forschungsagenda

Das Paper skizziert drei spezifische Barrieren, die den Fortschritt in der dynamischen Ausrichtung verhindern:

Konzeptionelle Barrieren: Unzureichende Theorie zur Mensch-KI-Interaktion im Vergleich zu etablierten Mensch-Mensch-Theorien; die schnelle KI-Evolution überholt die theoretische Entwicklung.
Translations-Barrieren: Schwierigkeiten, Forschung in realen Einsätzen zu verankern, aufgrund von mangelndem Datenzugang (private Industriesettings) und einer Kluft zwischen theoretischer und angewandter Perspektive.
Evaluierungs-Barrieren: Mangel an standardisierten Metriken, hochwertigen longitudinalen Interaktionsdatensätzen und interaktiven Testbetten. Aktuelle Benchmarks konzentrieren sich auf die Aufgabenerfüllung statt auf kollaborative Anpassung oder die Erholung von Fehlern.

Die Autoren schlagen eine Forschungsagenda vor, die maschinelles Lernen (Multi-Agent RL, Preference Learning) mit sozialwissenschaftlichen Erkenntnissen (transaktives Gedächtnis, Vertrauensmodelle) synthetisiert, um Systeme zu entwickeln, die auf kalibrierte Verlässlichkeit, Koordination und Anpassung über die Zeit optimieren.

Ergebnisse

Als theoretisches Positionspapier präsentiert die Arbeit keine experimentellen Ergebnisse oder empirischen Benchmarks. Stattdessen sind ihre „Ergebnisse“ der synthetisierte Rahmen und die Forschungsagenda, die aus dem interdisziplinären Workshop abgeleitet wurden. Das Paper schafft es erfolgreich:

Die Limitationen aktueller statischer Alignment-Methoden in agentischen, workflow-integrierten Kontexten aufzuzeigen.
Eine formale mathematische Unterscheidung zwischen statischer Output-Optimierung und trajektorienbasierter kollaborativer Optimierung zu liefern.
Spezifische sozialwissenschaftliche Konzepte (z. B. transaktives Gedächtnis) auf technische Herausforderungen im KI-Design abzubilden.
Konkrete Lücken in der aktuellen ML-Literatur (z. B. die Annahme von simulierten Agenten in Multi-Agent RL) zu identifizieren und Richtungen für deren Überbrückung vorzuschlagen.

Bedeutung und Ansprüche

Das Paper beansprucht Bedeutung durch das Argument, dass das Feld über die Momentaufnahme-Evaluierung (Snapshot Evaluation) hinausgehen muss hin zur Optimierung auf Trajektorienebene. Es postuliert, dass mit zunehmender Agentivität von KI-Systemen und deren Integration in menschliche Workflows die statische Ausrichtung unzureichend und potenziell nicht auf den langfristigen Erfolg von Mensch-KI-Zusammenarbeit ausgerichtet ist.

Die Autoren betonen:

Interdisziplinäre Synthese ist essenziell: Die Lösung der dynamischen Ausrichtung erfordert mehr als nur maschinelles Lernen; sie erfordert die Integration von Erkenntnissen aus Sozial- und Entscheidungswissenschaften, um zu verstehen, wie Vertrauen und Koordination tatsächlich funktionieren.
Komplementarität ist ein Alignment-Problem, nicht nur ein Designproblem: Da KI die Art und Weise verändert, wie Menschen arbeiten, müssen sich die Trainings- und Optimierungsziele des Modells grundlegend ändern, um eine effektive Zusammenarbeit zu unterstützen, anstatt dies allein den Workflow-Designern zu überlassen.
Sicherheit und Risiko: Dynamische Ausrichtung führt neue Risiken ein (z. B. eine KI, die das Nutzervertrauen manipuliert, um nachgeschaltete Ergebnisse zu optimieren), was eine rigorose Untersuchung statt bloßer Vermeidung erfordert.

Das Paper schließt mit dem Aufruf zur Entwicklung von KI-Systemen, die mit Menschen in der Interaktion korrespondieren, was eine neue Generation von Methoden erfordert, die das Co-Evolutionsverhalten von Mensch und Modell berücksichtigen.