Stellen Sie sich eine Welt vor, in der die Computer, die autonome Roboter steuern oder intelligente Gebäude verwalten, keine zerbrechlichen, empfindlichen Maschinen sind, sondern robuste Systeme, die auch dann funktionieren können, wenn ihr interner Speicher leicht beschädigt oder unpräzise ist. Dies ist das Versprechen eines Feldes namens Vektor-Symbolische Architektur, einer Denkweise über künstliche Intelligenz, die sich an der Art und Weise orientiert, wie das menschliche Gehirn Informationen speichert. Anstatt sich auf präzise, zerbrechliche Zahlen zu verlassen, nutzt dieser Ansatz riesige, hochdimensionale Datenmuster, die mit einfacher Mathematik kombiniert und verglichen werden können. Die Kernidee ist, dass diese Muster so zahlreich und unterscheidbar sind, dass sie sich überschneiden können, ohne einander zu verwirren – ganz ähnlich wie ein voll besetzter Raum voller Menschen, die verschiedene Sprachen sprechen, es einem ermöglicht, sich auf ein einzelnes Gespräch zu konzentrieren, ohne dass der Hintergrundlärm zu einem Durcheinander wird. Diese Widerstandsfähigkeit macht den Ansatz besonders attraktiv für „Edge“-Geräte – Computer, die mit begrenzter Leistung oder in rauen Umgebungen laufen, in denen eine perfekte Datenspeicherung nicht garantiert werden kann.

Forscher der University of California, Irvine, und ihre Kooperationspartner haben dieses Konzept nun direkt auf die Art und Weise angewendet, wie Maschinen lernen, Entscheidungen zu treffen. In einer neuen Studie haben sie eine Methode namens Vector-Symbolic Policy Gradient eingeführt. Um zu verstehen, was sie getan haben, hilft es zunächst zu verstehen, welches Problem sie lösen. Im Reinforcement Learning (bestärkendes Lernen) lernt ein künstlicher Agent, indem er Aktionen ausprobiert und sieht, was passiert, wobei er schrittweise eine Strategie entwickelt, um Belohnungen zu maximieren. Traditionell wird diese Strategie in komplexen neuronalen Netzen gespeichert, die wie komplizierte Geflechte von Verbindungen sind, die eine präzise Abstimmung erfordern. Wenn die Zahlen innerhalb dieser Netzwerke durch elektrisches Rauschen oder einen Fertigungsfehler korrumpiert werden, kann die Entscheidungsfindung des Agenten zusammenbrechen. Die Forscher stellten eine einfache Frage: Können wir ein Entscheidungssystem bauen, das von Natur aus resistent gegen diese Art von Schaden ist, eines, das lernt, indem es Erinnerungen auf eine natürlich nachgiebige Weise speichert?

Die Antwort, die sie fanden, lautet ja. Das Team entwickelte ein System, in dem jede mögliche Aktion, die ein Agent ausführen kann, durch ein einzigartiges, hochdimensionales Muster oder einen „Hypervektor“ repräsentiert wird. Wenn der Agent seine Umgebung beobachtet, wandelt er diese Beobachtung in ein ähnliches Muster um. Um zu entscheiden, was zu tun ist, prüft das System einfach, welches Aktionsmuster dem aktuellen Zustand am ähnlichsten sieht. Die Brillanz ihrer Methode liegt darin, wie das System lernt. Anstatt komplexe, mehrstufige Berechnungen zu verwenden, um seine internen Gewichte anzupassen, aktualisiert das System sein Gedächtnis in einem einzigen, direkten Schritt. Wenn ein Agent eine gute Aktion ausführt und eine Belohnung erhält, stärkt das System die Verbindung zwischen dem Muster dieser Aktion und der Beobachtung, die dazu führte. War die Aktion schlecht, wird diese Verbindung geschwächt. Dieser Prozess ist mathematisch äquivalent zu einer Standardlernmethode, wird aber durch die einfache Addition und Subtraktion dieser großen Muster gefolgt von einem Normalisierungsschritt durchgeführt, um die Muster stabil zu halten.

Was diese Entdeckung so bedeutend macht, ist das, was mit dem Gedächtnis im Laufe der Zeit geschieht. Während der Agent lernt, speichert er nicht eine Liste jeder einzelnen Erfahrung, die er je gemacht hat. Stattdessen komprimiert er all seine Erfahrungen in einen fest definierten Speicherbank. Das Gedächtnis jeder Aktion wird zu einer komprimierten Zusammenfassung all der Male, in denen diese Aktion hilfreich war, gewichtet nach der Güte des Ergebnisses. Das bedeutet, dass das System effizient lernen kann, ohne riesige Mengen an Rohdaten speichern zu müssen. Darüber hinaus haben die Forscher bewiesen, dass diese Methode unglaublich robust gegenüber Fehlern ist. Sie testeten, was passiert, wenn zufällige Bits im Speicher umgekehrt werden, was die Art der Korruption simuliert, die bei unzuverlässiger Hardware auftritt. Während traditionelle neuronale Netze und einfache lineare Modelle unter diesen Bedingungen erhebliche Leistungseinbußen erlitten, hielt das neue vektorbasierte System stand. Die Fehler wurden durch die schiere Größe und Struktur der Muster herausgemittelt, was es dem System ermöglichte, auch dann korrekte Entscheidungen zu treffen, wenn sein Gedächtnis unvollkommen war.

Das Team testete seine Methode bei einer Vielzahl von Herausforderungen, von klassischen Kontrollaufgaben wie dem Balancieren eines Stabes auf einem beweglichen Wagen bis hin zur Navigation durch komplexe Labyrinthe und der Steuerung der Energie in Multi-Agenten-Gebäudesystemen. In diesen Tests lernte die neue Methode so schnell wie, und oft sogar schneller als, Standardansätze neuronaler Netze. Sie erzielte wettbewerbsfähige Ergebnisse beim Erreichen von Zielen und der Maximierung von Belohnungen, was zeigt, dass sie nicht zugunsten der Robustheit Abstriche bei der Leistung macht. Bei den Labyrinth-Navigationsaufgaben, bei denen der Agent lernen muss, einen Schlüssel aufzuheben, bevor er eine Tür öffnet, erlernte das System erfolgreich die Abfolge der Aktionen. In den Gebäudesteuerungs-Simulationen, bei denen mehrere Agenten koordinieren müssen, um Temperatur und Luftfeuchtigkeit zu regeln, funktionierte die Methode über verschiedene Klimabedingungen hinweg gut.

Vielleicht am wichtigsten ist, dass die Studie zeigte, dass die Fähigkeit des Systems zur Generalisierung – seine Kapazität, das Gelernte auf eine leicht andere Situation anzuwenden – direkt davon abhing, wie die ursprünglichen Muster erstellt wurden. Die Forscher fanden heraus, dass die Wahl der Methode, mit der Rohbeobachtungen in diese hochdimensionalen Muster umgewandelt werden, eine große Rolle spielte. Einige Konvertierungsmethoden führten zu besserem Lernen und stabileren Gedächtnissen als andere, was darauf hindeutet, dass die „Sprache“, in der der Agent denkt, entscheidend für seinen Erfolg ist. Soblich das System jedoch trainiert war, musste es die Rohdaten seiner Trainingssitzungen nicht mehr aufbewahren. Es konnte die Historie verwerfen und sich allein auf das komprimierte, fest dimensionierte Gedächtnis verlassen, was es hocheffizient für den Einsatz auf realen Geräten machte.

Die Forscher untersuchten auch, wie die Größe dieser Muster die Leistung beeinflusste. Sie fanden heraus, dass die Erhöhung der Dimensionalität, also der Anzahl der Elemente in jedem Muster, die Fähigkeit des Systems verbesserte, zwischen verschiedenen Situationen zu unterscheiden, und die Interferenz zwischen den Erinnerungen verringerte. Sie stellten jedoch auch fest, dass diese Verbesserung schließlich ein Plateau erreichte, was bedeutet, dass es einen Punkt abnehmender Grenzerträge gibt, an dem das Größer-Machen der Muster nicht mehr wesentlich hilft. Dieses Gleichgewicht zwischen Speichergröße und Leistung ist eine praktische Überlegung für Ingenieure, die diese Systeme auf kleinen Chips unterbringen müssen.

Letztendlich schlägt diese Arbeit die Brücke zwischen theoretischer Robustheit und praktischer Anwendung. Sie zeigt, dass es möglich ist, lernfähige Agenten zu erschaffen, die nicht nur effizient und schnell, sondern auch widerstandsfähig gegenüber den Unvollkommenheiten der realen Welt sind. Indem Entscheidungen als verteilte Muster statt als präzise Zahlen dargestellt werden, vermeidet das System die Zerbrechlichkeit, die viele moderne Modelle der künstlichen Intelligenz plagt. Die Ergebnisse deuten auf einen Weg hin, intelligente Systeme in Umgebungen einzusetzen, in denen Zuverlässigkeit oberste Priorität hat, von autonomen Fahrzeugen, die in unvorhersehbarem Wetter navigieren, bis hin zu medizinischen Geräten, die in ressourcenbeschränkten Umgebungen arbeiten. Die Methode erfordert keine komplexe Hardware oder riesige Rechenzentren; sie stützt sich auf eine einfache, elegante mathematische Struktur, die das Potenzial eines verrauschten Gedächtnisses in eine Stärke verwandelt. Wie die Forscher abschließend konstatieren, bietet dieser Ansatz ein vielversprechendes Fundament für die nächste Generation robuster, Edge-basierter künstlicher Intelligenz und beweist, dass der beste Weg, eine intelligente Maschine zu bauen, manchmal darin besteht, sie in Mustern denken zu lassen, die zu groß sind, um zu brechen.