From Data Sharing to Data Surveillance? - AI Agents and the Panoptic Dynamics of Mobility Data Spaces

Stellen Sie sich eine Zukunft vor, in der Ihr Auto, die Ampeln und die Stadtplanung automatisch miteinander kommunizieren. Sie tauschen Informationen aus, um Unfälle zu vermeiden, schnellere Routen vorzuschlagen und den Energieverbrauch zu steuern. Um dies zu ermöglichen, müssen verschiedene Gruppen – Automobilhersteller, Kartenunternehmen und Regierungsbehörden – ihre Daten in einem gemeinsamen digitalen Raum zusammenführen. In diesen Raum treten „KI-Agenten“, im Wesentlichen intelligente Softwareprogramme, die in der Lage sind, diese Daten zu lesen, zu verstehen, was geschieht, und eigenständig Maßnahmen zu ergreifen, wie etwa den Verkehr umzuleiten oder Zeitpläne anzupassen. Damit diese Systeme sicher und legal sind, schreiben die Regeln vor, dass jede Bewegung der Software detailliert protokolliert werden muss. Wir müssen genau wissen, welche Daten sie betrachtet hat und warum sie eine Entscheidung getroffen hat. Diese Anforderung nach einer perfekten Dokumentation soll Vertrauen schaffen, doch eine neue Studie deutet darauf hin, dass sie genau das Gegenteil bewirkt.

Forscher des Deutschen Zentrums für Luft- und Raumfahrt, darunter Tim Robin Kosack und Kollegen, haben untersucht, was passiert, wenn wir diese intelligenten Systeme dazu zwingen, vollkommen transparent zu sein. Sie untersuchten das Spannungsfeld zwischen der Notwendigkeit, KI-Agenten zu prüfen, und der Bereitschaft von Unternehmen, sich an diesen Datenaustauschnetzwerken zu beteiligen. Ihre Arbeit, die in einem Forschungsartikel veröffentlicht wurde, argumentiert, dass eben jene Protokolle, die dazu dienen sollen, den ordnungsgemäßen Betrieb des Systems zu beweisen, dazu führen können, dass sich Unternehmen wie unter ständiger, unsichtbarer Überwachung fühlen. Dies kann laut ihrer Untersuchung dazu führen, dass Unternehmen zurückhaltender werden, weniger Daten teilen oder notwendige, aber riskante Experimente vermeiden, was letztlich das gesamte System schwächt.

Die Studie konzentriert sich auf Mobilitätsdatenschätzungen (Mobility Data Spaces), digitale Umgebungen, in denen verschiedene Organisationen Informationen über den Verkehr austauschen. In diesen Räumen fungieren die KI-Agenten als die Arbeiter, die ständig Daten aus vielen Quellen scannen, um Probleme zu lösen. Da diese Agenten sensible Informationen verarbeiten und Entscheidungen treffen, die die öffentliche Sicherheit beeinflussen, schreiben europäische Vorschriften vor, dass ihre Handlungen protokolliert und rückverfolgbar sein müssen. Wenn ein Agent einen Fehler macht oder eine Entscheidung erklärt werden muss, muss es ein Protokoll geben, das genau aufzeigt, wie dies geschehen ist. Die Forscher merken an, dass dies zwar für die Rechenschaftspflicht unerlässlich ist, aber eine schwierige Situation für die Unternehmen schafft, die die Daten bereitstellen. Diese Unternehmen sind oft Konkurrenten, wie zum Beispiel verschiedene Automobilhersteller. Sie sind bereit, Daten zu teilen, um das System zu verbessern, aber sie haben auch Angst, dass ihre Rivalen ihre internen Daten einsehen könnten oder dass die Protokolle ihre Geschäftsstrategien offenlegen könnten.

Um diese Angst zu verstehen, nutzen die Autoren ein Konzept des Philosophen Michel Foucault namens Panopticon. Ursprünglich war dies ein Entwurf für ein Gefängnis, in dem ein Wächter alle Insassen sehen konnte, ohne dass die Insassen wussten, wann sie beobachtet wurden; die Idee ist, dass allein die Möglichkeit, beobachtet zu werden, das Verhalten verändert. Im Gefängnis verhalten sich die Gefangenen so, weil sie glauben, beobachtet zu werden. In der digitalen Welt der Mobilitätsdaten schlagen die Forscher vor, dass sich Unternehmen ähnlich verhalten. Selbst wenn niemand die Protokolle jede Sekunde tatsächlich prüft, erzeugt die Tatsache, dass die Protokolle existieren und jederzeit überprüft werden könnten, ein Gefühl ständiger Exponiertheit. Dies führt zu dem, was als „Chilling Effect“ (Abschreckungseffekt) bekannt ist. Unternehmen beginnen sich selbst zu regulieren, nicht weil sie gegen Regeln verstoßen, sondern weil sie Angst haben, gesehen zu werden. Sie könnten aufhören, experimentelle Daten zu teilen, ihre Schwächen zu verbergen oder sich weigern, neue Ideen zu testen, die scheitern könnten, nur um das Risiko einer genauen Untersuchung zu vermeiden.

Die Forscher fanden heraus, dass diese Dynamik den Erfolg des gesamten Datenraums gefährdet. Der Wert dieser Systeme ergibt sich aus der Fähigkeit, viele verschiedene Arten von Daten zu kombinieren, um neue Erkenntnisse zu gewinnen. Wenn Unternehmen zu viel Angst haben, ihre vollständigen Datensätze zu teilen, können die KI-Agenten nicht effektiv lernen, und das System wird weniger nützlich. Die Studie legt nahe, dass der aktuelle Ansatz der Transparenz, der oft davon ausgeht, dass jeder Zugriff auf die Protokolle haben sollte, fehlerhaft ist. Er erzeugt ein Gefühl der Überwachung, das die freiwillige Teilnahme abschreckt, die diese Systeme zum Überleben benötigen. Die Autoren argumenten, dass wir die Protokolle nicht einfach entfernen können, da Vorschriften sie vorschreiben, wir aber die Art und Weise, wie auf sie zugegriffen wird, ändern müssen.

Um dies zu lösen, schlägt das Team eine neue Art der Organisation vor, wer was sehen darf. Anstatt eines freien Zugangs, bei dem jeder Teilnehmer potenziell jedes Protokoll einsehen kann, schlagen sie ein System vor, das auf spezifischen Rollen und strengen Grenzen basiert. In diesem Modell hätte ein Unternehmen, das Daten bereitstellt, vollen Zugriff darauf, wie seine eigenen Daten verwendet wurden, hätte aber keinen Zugriff auf die Protokolle seiner Konkurrenten. Unabhängige Prüfer oder Regulierungsbehörden dürften die Protokolle nur dann einsehen, wenn ein spezifischer Grund vorliegt, wie etwa eine Untersuchung zu einem Sicherheitsproblem. Die Forscher nennen dies „zweckgebundenen“ Zugriff (purpose-limited access). Das bedeutet, dass die Protokolle weiterhin für die Rechenschaftspflicht vorhanden sind, aber hinter einer Tür verborgen bleiben, die sich nur aus einem spezifischen, gerechtfertigten Grund öffnet. Dieser Ansatz zielt darauf ab, das System sicher und legal zu halten, ohne dass die Teilnehmer das Gefühl haben, in einem Glashaus zu leben.

Die Studie empfiehlt zudem die Verwendung von „beschränkten Abfragen“ (constrained queries). Dies ist eine technische Methode, bei der ein Nutzer eine Frage zu den Protokollen stellen kann, ohne die zugrunde liegenden Rohdaten zu sehen. Beispielsweise könnte ein Prüfer fragen: „Hat dieser Agent die Regeln befolgt?“ und eine einfache Antwort wie „Ja“ oder „Nein“ erhalten, ohne die tatsächlichen Daten zu sehen, die der Agent verarbeitet hat. Dies ermöglicht die Verifizierung, ohne sensible Details preiszugeben. Die Forscher betonen, dass Transparenz nicht totale Sichtbarkeit bedeuten muss. Wahres Vertrauen entsteht aus dem Wissen, dass das System fair verwaltet wird, und nicht dadurch, dass man jedes einzelne Detail jeder Interaktion sieht. Durch die Anpassung der Informationen an die Bedürfnisse der jeweiligen Teilnehmer kann das System rechenschaftspflichtig bleiben, ohne eine Angst vor Überwachung auszulösen.

In ihrem Fazit erklären die Autoren, dass das Ziel nicht darin besteht, die Wahrheit zu verbergen, sondern eine Form der Transparenz zu entwickeln, die für alle funktioniert. Sie schlagen vor, dass die Mobilitätsdatenschätzungen der Zukunft scheitern könnten, wenn wir diese Angst vor Beobachtung nicht adressieren, da die Unternehmen, die teilnehmen müssten, sich einfach zurückziehen werden. Die Lösung liegt im Ausgleich zwischen dem rechtlichen Bedarf an Aufzeichnungen und dem menschlichen Bedürfnis nach Privatsphäre und Kontrolle. Indem wir Systeme entwerfen, in denen der Zugriff sorgfältig verwaltet und auf das Notwendige beschränkt ist, können wir ein digitales Umfeld schaffen, in dem KI-Agenten ihre Arbeit verrichten können, Unternehmen sich beim Teilen ihrer Daten sicher fühlen und die Öffentlichkeit von einem sichereren, intelligenteren Verkehr profitiert. Die Forschung behauptet nicht, alle Probleme gelöst zu haben, hebt aber einen kritischen Fehler in unserem aktuellen Verständnis von digitalem Vertrauen hervor und bietet einen praktischen Weg nach vorn, um diesen zu beheben.