AI LEGO: Scaffolding Cross-Functional Collaboration in Industrial Responsible AI Practices during Early Design Stages

Stellen Sie sich vor, Sie bauen zusammen mit einem Team von Freunden einen riesigen, komplexen Roboter. Sie haben den Ingenieur, der weiß, wie man das Gehirn programmiert, den Künstler, der das Aussehen entwirft, und den Manager, der herausfindet, was der Roboter eigentlich für die Menschen tun soll. Normalerweise baut der Ingenieur zuerst das Gehirn, schreibt einen Haufen verwirrenden Code und übergibt ihn dann den anderen mit den Worten: „Hier, bring es zum Laufen.“ Aber oft können der Künstler und der Manager den Code nicht verstehen und übersehen dabei ein riesiges Problem: Vielleicht wird der Roboter zu bestimmten Menschen unhöflich sein oder schlechte Entscheidungen treffen. Bis sie den Fehler bemerken, ist der Roboter bereits gebaut, und die Korrektur wird zum Albtraum. Dies ist ein häufiges Problem in der Welt der Künstlichen Intelligenz (KI), wo Experten aus unterschiedlichen Fachbereichen Schwierigkeiten haben, früh genug miteinander zu kommunizieren, um schlechte Ideen zu stoppen, bevor sie zu realen, schädlichen Produkten werden.

Um dies zu lösen, schauen Forscher auf ein Konzept namens „Boundary Objects“ (Grenzobjekte). Stellen Sie sich ein Boundary Object wie einen universellen Übersetzer oder ein gemeinsames Lego-Set vor. Es ist ein Werkzeug, das für jeden Beteiligten anders aussieht, aber dasselbe bedeutet wie für die gesamte Gruppe. Für einen Ingenieur mag ein Lego-Stein eine strukturelle Komponente sein; für einen Designer ist er ein Farbblock; aber für das gesamte Team ist er einfach nur „ein Stein“, den alle halten und besprechen können. Die wissenschaftliche Arbeit, die Sie gleich lesen werden, untersucht, wie man ein besseres „gemeinsames Lego-Set“ für KI-Teams bauen kann – eines, das speziell dabei hilft, gefährliche Fehler zu erkennen, bevor man mit dem Programmieren beginnt.

---

Das Paper: AI LEGO

Die Forscher hinter dieser Studie, ein Team von Universitäten wie der Carnegie Mellon und der Northwestern, bemerkten, dass der Prozess oft scheitert, wenn Unternehmen versuchen, „Verantwortungsbewusste KI“ (Responsible AI – also eine sichere und faire KI) zu entwickeln. Technische Leute (die Programmierer) und nicht-technische Leute (wie Produktmanager und Designer) sind oft nicht auf dersselben Wellenlänge. Die Programmierer sprechen in komplexem technischem Jargon, und die Nicht-Programmierer fühlen sich ausgeschlossen und sind nicht in der Lage, potenzielle Schäden zu erkennen, bis es zu spät ist.

Um dies zu beheben, entwickelten sie ein Web-Tool namens AI LEGO.

Die große Idee: Bauen mit Blöcken

Stellen Sie sich vor, Sie versuchen, einem Freund Ihren Traumurlaub zu erklären. Wenn Sie nur über Flugnummern und Hotelcodes schwadronieren, wird er vielleicht gelangweilt oder verwirrt sein. Aber wenn Sie eine Karte mit großen, bunten Blöcken für „Flug“, „Hotel“ und „Strand“ verwenden, ist es leicht, den gesamten Plan zu sehen.

AI LEGO funktioniert auf die gleiche Weise für KI-Projekte. Anstatt lange, langweilige Dokumente in Tools wie Google Docs zu schreiben, nutzt das Team eine digitale Leinwand voller Lifecycle Blocks (Lebenszyklus-Blöcke).

• Das technische Team beginnt damit, diese Blöcke per Drag-and-Drop zu nutzen, um ihren Plan zu skizzieren. Jeder Block repräsentiert eine Phase beim Bau einer KI, wie zum Beispiel „Problemformulierung“ (Was lösen wir?), „Datensatz-Konstruktion“ (Welche Daten verwenden wir?) oder „Modelldefinition“ (Wie funktioniert das Gehirn?). Innerhalb jedes Blocks gibt es einfache Aufforderungen (Prompts), die sie dazu anleiten, ihre Entscheidungen in einfacher Sprache zu erklären.
• Das nicht-technische Team tritt dann ein. Sie müssen nicht wissen, wie man programmiert. Sie betrachten die Blöcke und nutzen Stage-centered Checklists (stufenzentrierte Checklisten). Dies sind wie Sicherheitsinspektionskarten. Für den Block „Datensatz“ könnte die Checkliste fragen: „Gibt es hier sensible Daten, die zu Voreingenommenheit führen könnten?“ Dies hilft Nicht-Programmierern, Risiken zu erkennen, die sie sonst übersehen hätten.

Die Geheimwaffe: Die „Persona“-Minifiguren

Hier wird es besonders spannend. AI LEGO hat eine spezielle Funktion namens Persona-centered Evaluation (Persona-zentrierte Bewertung).
Stellen Sie sich vor, Sie entwerfen ein neues Videospiel. Um sicherzustellen, dass es fair ist, denken Sie nicht nur an „Spieler“ im Allgemeinen. Sie stellen sich spezifische Charaktere vor: „Ein Teenager, der Sport liebt“, „Eine Oma, die auf einem Tablet spielt“ oder „Jemand, der kein Englisch spricht“.

AI LEGO ermöglicht es dem Team, digitale Minifiguren (kleine Lego-Männchen) zu erstellen, die diese verschiedenen Arten von Nutzern repräsentieren. Das Tool nutzt sogar eine intelligente KI (ein Large Language Model), um zu simulieren, wie diese Minifiguren auf den Plan reagieren könnten.

• Beispiel: Wenn das Team eine KI für Filmempfehlungen entwickelt, könnten sie eine Minifigur namens „Teenager, der Filme liebt“ erstellen. Das Tool simuliert dann, was dieser Teenager sagen könnte: „Hey, wenn du mir nur Actionfilme empfiehlst, weil ich ein Typ bin, dann ist das unfair!“
• Dies hilft dem Team, „Edge Cases“ (Grenzfälle) zu sehen – also seltsame oder spezifische Situationen, an die sie nicht gedacht hatten – indem sie das Projekt buchstäblich durch die Augen eines anderen Menschen betrachten.

Was sie herausgefunden haben: Die Ergebnisse

Die Forscher testeten dieses Tool mit 18 Branchenexperten (6 KI-Entwickler, 6 Produktmanager und 6 UI/UX-Designer) in 6 Teams. Sie ließen diese Teams KI-Systeme mit drei verschiedenen Methoden entwerfen:

1. Google Docs (die alte Methode, nur Text schreiben).
2. AI LEGO Lite (die Verwendung der Blöcke und Checklisten, aber ohne Minifiguren).
3. AI LEGO Full (die Verwendung der Blöcke, Checklisten und der Minifiguren).

Die Ergebnisse waren ziemlich eindeutig:

• Mehr Probleme gefunden: Wenn sie AI LEGO verwendeten, fanden die Teams 195 % mehr problematische Designentscheidungen als bei der Verwendung von Google Docs. Das ist fast die doppelte Anzahl an potenziellen Katastrophen, die entdeckt wurden!
• Bessere Qualität: Die Probleme, die sie fanden, waren keine bloßen Vermutungen; sie trugen eine höhere Wahrscheinlichkeit auf, tatsächlich einzutreten. Die Teams, die AI LEGO Full nutzten, fanden Probleme, die auf einer Skala der Wahrscheinlichkeit (von 4) um 1,25 Punkte höher bewertet wurden als die der Google-Docs-Gruppe.
• Die Minifiguren halfen: Die „Full“-Version des Tools (mit den Minifiguren) half den Teams, sogar noch mehr Probleme zu finden als die „Lite“-Version. Die simulierten Personas halfen den nicht-technischen Personen, tiefer darüber nachzudenken, wie echte Menschen betroffen wären.
• Alle mochten es: Die Teilnehmer gaben an, dass AI LEGO einfacher zu bedienen und unterhaltsamer war als Google Docs. Sie hatten das Gefühl, tatsächlich als Team zusammenzuarbeiten, anstatt nur Notizen hin und her zu schicken.

Warum das wichtig ist

Das Paper legt nahe, dass die Art und Weise, wie wir KI bauen, genauso wichtig ist wie die KI selbst. Wenn wir weiterhin in Silos bauen – wo Programmierer nur mit Programmierern sprechen und Manager nur mit Managern – werden wir weiterhin Fehler machen, die Menschen schaden.

AI LEGO zeigt, dass wir, wenn wir Teams eine gemeinsame, visuelle Sprache (wie Lego-Blöcke) und eine Möglichkeit geben, in die Lage anderer Menschen zu versetzen (wie Minifiguren), schlechte Ideen frühzeitig abfangen können. Und das Beste daran? Sie frühzeitig abzufangen bedeutet, dass wir sie beheben können, bevor jemand zu Schaden kommt, ohne den fertigen Roboter abreißen und von vorne beginnen zu müssen.

Die Studie beansprucht nicht, dass dieses Tool ein Zauberstab ist, der alle Probleme der Welt löst. Die Forscher geben zu, dass ihr Tool ein Prototyp ist und dass reale Teams komplizierter sind als eine Studiensitzung. Aber sie schlagen vor, dass die Änderung dessen, wie wir über KI-Design sprechen – indem wir es visuell, strukturiert und inklusiv gestalten –, unsere zukünftige Technologie für alle sicherer und fairer machen kann.