Algorithmic manipulation and mental self-determination: Operationalizing freedom of thought as a neuroright

Der menschliche Geist wurde lange Zeit als ein privates Heiligtum betrachtet, ein Ort, an dem Gedanken in der Stille entstehen, frei von äußerer Einwirkung. Jahrzehntelang hat das internationale Recht diesen inneren Raum, bekannt als forum internum, als ein absolutes Recht geschützt, das weder eine Regierung noch eine Technologie verletzen darf. Dieser Schutz wurde ursprünglich konzipiert, um zu verhindern, dass Menschen gezwungen werden, ihre Überzeugungen zu ändern, oder für das bestraft werden, was sie denken. Doch eine neue Art von Bedrohung ist aufgetaucht, die keine Drähte, Implantate oder direkten Zugang zum Gehirn erfordert. Stattdessen kommt sie von den alltäglichen Algorithmen, die soziale Medien, Newsfeeds und Online-Shopping antreiben. Diese Systeme lesen nicht unsere Gedanken direkt; sie beobachten unser Verhalten, lernen unsere Gewohnheiten und arrangieren die Welt um uns herum subtil, um unsere Entscheidungen zu lenken. Die Gefahr besteht darin, dass wir oft das Gefühl haben, unsere eigenen Entscheidungen zu treffen, selbst wenn diese Entscheidungen von einem Computerprogramm sorgfältig manipuliert wurden, um unsere Schwächen auszunutzen.

Zwei Forscher der Hanoi Law University, Thi Long Nguyen und Ngoc Hiep Tran, haben untersucht, ob unsere bestehenden Gesetze stark genug sind, um diesem unsichtbaren Einfluss entgegenzuwirken. Sie argumentieren, dass die derzeitigen Regeln, die sich auf den Schutz personenbezogener Daten oder die Regulierung spezifischer Arten von künstlicher Intelligenz konzentrieren, das eigentliche Problem verfehlen. Das Problem ist nicht nur, wer unsere Informationen sieht, sondern wie unsere Fähigkeit, selbstständig zu denken, im Stillen umgestaltet wird. Die Autoren schlagen vor, dass wir „mentale Selbstbestimmung“ nicht als ein brandneues Recht verstehen sollten, sondern als eine moderne Anwendung des alten Rechts auf Gedankenfreiheit. Sie schlagen eine klare Reihe von Bedingungen vor, um zwischen normaler Überzeugung und illegaler Manipulation zu unterscheiden, und bieten so einen Weg, die Integritität unseres Denkens in einem digitalen Zeitalter zu schützen, in dem die mächtigsten Werkzeuge unser Gehirn niemals berühren.

Die Forscher begannen mit der Untersuchung der Lücke in den aktuellen rechtlichen Schutzmaßnahmen. Sie fanden heraus, dass Gesetze wie das Gesetz der Europäischen Union über Künstliche Intelligenz (AI Act) und Datenschutzverordnungen nicht darauf ausgelegt sind, den spezifischen Schaden durch algorithmische Manipulation zu erfassen. Der AI Act verbietet beispielsweise Systeme, die verdeckte Techniken anwenden, um das Verhalten zu verzerren, aber er erfordert den Beweis, dass ein Unternehmen die Absicht hatte zu manipulieren und dass das Ergebnis einen erheblichen, greifbaren Schaden verursacht hat. Dies ist eine hohe Hürde, die viele alltägliche Algorithmen leicht überspringen. Diese Systeme sind oft darauf ausgelegt, das Engagement oder den Verkauf zu maximieren, und nicht darauf, Menschen explizit zu täuschen, und ihre Auswirkungen sind meist eine langsame, graduelle Verschiebung in der Art und Weise, wie wir die Welt sehen, statt eines einzelnen, dramatischen Fehlers. Ähnlich so konzentrieren sich Datenschutzgesetze auf die Erhebung und Speicherung von Informationen. Sie fragen, ob wir der Verwendung unserer Daten zugestimmt haben, aber sie fragen nicht, ob die Art und Weise, wie diese Daten verwendet werden, unsere Gedanken heimlich steuert. Die Autoren argumentieren, dass dies eine strukturelle Lücke im Recht hinterlässt: Ein System könnte alle Regeln für Datenschutz und KI-Sicherheit befolgen und dennoch effektiv den Prozess kapern, durch den eine Person ein Urteil fällt.

Um zu verstehen, wie dies geschieht, beschreiben die Autoren einen Prozess, der lange beginnt, bevor ein Nutzer einen bestimmten Post oder eine Anzeige sieht. Das System erstellt zuerst ein detailliertes Modell des Nutzers und lernt dessen emotionale Trigger, Momente der Schwäche und was seine Aufmerksamkeit fesselt. Dies schafft ein massives Wissensungleichgewicht: Der Computer kennt die Schwachstellen des Nutzers besser, als der Nutzer sich selbst kennt. Das System nutzt dieses Wissen dann, um die Umgebung zu gestalten, in der Entscheidungen getroffen werden. Es könnte bestimmte Nachrichtenmeldungen zu einem Zeitpunkt zeigen, an dem der Nutzer müde ist, oder Optionen in einer bestimmten Reihenfolge präsentieren, die eine Wahl natürlicher erscheinen lässt, als sie eigentlich ist. Das Ergebnis ist eine Form des Einflusses, die sich wie eine persönliche Vorliebe anfühlt. Der Nutzer füht sich immer noch als Autor seiner eigenen Entscheidungen, aber der Pfad, den er einschlug, wurde heimlich von einem Algorithmus gepflastert. Dies unterscheidet sich von Nötigung, die eine Wahl erzwingt, oder Überzeugung, die Gründe anbietet, die abgewogen werden können. Es ist eine versteckte Steuerung des Geistes, die die bewusste Reflexion umgeht.

Das Paper argumentt, dass wir zur Behebung dieses Problems das Recht auf Gedankenfreiheit nicht nur als Schutzschild gegen Gehirnimplantate betrachten müssen, sondern als Schutzschild gegen jede Technologie, die die Bildung von Gedanken stört. Die Autoren schlagen einen spezifischen Test vor, um zu entscheiden, wann ein Algorithmus die Grenze von akzeptabler Beeinflussung zu ungesetzlicher Manipulation überschreitet. Sie schlagen vor, dass eine Praxis nur dann illegal ist, wenn sie vier Bedingungen gleichzeitig erfüllt. Erstens muss die Methode des Einflusses vor dem Nutzer verborgen sein; wenn der Nutzer weiß, dass er gezielt angesprochen wird, handelt es sich nicht um Manipulation. Zweitens muss ein tiefes Wissensungleichgewicht bestehen, bei dem das System die Schwachstellen des Nutzers auf eine Weise kennt, die der Nutzer selbst nicht sehen kann. Drittens muss das System eine spezifische Schwachstelle ausnutzen, wie etwa einen emotionalen Zustand oder eine kognitive Blindstelle, anstatt die Fähigkeit des Nutzers zur Vernunft anzusprechen. Schließlich muss der Einfluss den eigentlichen Prozess verändert, wie der Nutzer eine Entscheidung trifft, und nicht bloß die verfügbaren Optionen.

Dieser Rahmen bezieht sich auf einen jüngsten Rechtsfall in Chile, wo das Land das erste war, das verfassungsmäßige Rechte für Gehirnaktivitäten gewährte. In diesem Fall entschied ein Gericht, dass ein Unternehmen die Rechte eines Senators verletzt habe, indem es dessen Gehirndaten ohne ordnungsgemäße Zustimmung sammelte. Die Autoren stellen fest, dass dies zwar ein Sieg für die Neurorechte war, aber auf Situationen beschränkt blieb, in denen Daten direkt aus dem Gehirn entnommen wurden. Ihre Arbeit erweitert diese Logik auf die digitale Welt und argumenttiert, dass derselbe Schutz auch dann gelten sollte, wenn keine physischen Daten aus dem Geist entnommen werden. Wenn das Ziel des Gesetzes darin besteht, die Integrität unseres Denkens zu schützen, sollte es keine Rolle spielen, ob die Störung durch einen Draht im Schädel oder eine geschickt gestaltete App auf einem Bildschirm erfolgt. Der Schaden ist derselbe: die Erosion der Fähigkeit, die eigenen Überzeugungen zu bilden.

Die Forscher räumen ein, dass die Anwendung dieser Ideen nicht einfach sein wird. Zu beweisen, dass ein spezifischer Algorithmus eine spezifische Veränderung im Geist einer Person verursacht hat, ist schwierig, da diese Effekte oft subtil und kumulativ sind. Sie warnen auch davor, dass der neue Test sorgfältig von Gerichten angewendet werden muss, um nicht versehentlich jegliche Form von Werbung oder Empfehlungen zu verbieten. Sie kommen jedoch zu dem Schluss, dass ohne einen klaren Standard dafür, was mentale Selbstbestimmung ausmacht, das Recht gegenüber den pervasivsten Bedrohungen unserer Autonomie blind bleiben wird. Indem sie Manipulation durch diese vier Faktoren definieren, bieten die Autoren einen Weg, das innere Heiligtum des menschlichen Geistes zu schützen und sicherzustellen, dass unsere Gedanken unsere eigenen bleiben, selbst in einer Welt, in der die Umgebung ständig optimiert wird, um sie zu verändern.