In der weiten Landschaft moderner Daten liegen viele der wichtigsten Beziehungen nicht ordentlich in Zeilen und Spalten wie in einer Tabellenkalkulation. Stattdessen existieren sie als komplizierte Gespinste: die Freunde, die man mit einem Kollegen teilt, die Proteine, die sich zu einem Medikament verbinden, oder die Zitate, die ein wissenschaftliches Paper mit einem anderen verknüpfen. Dies sind Graphen – Strukturen, in denen die Verbindungen zwischen den Dingen genauso wichtig sind wie die Dinge selbst. Jahrzehntelang haben Wissenschaftler versucht, Computern beizubringen, diese Netze zu verstehen. Traditionelle Methoden versuchen oft, diese komplexen, unregelmäßigen Formen in starre, mathematische Boxen zu pressen, was enorme Rechenleistung und sorgfältige menschliche Aufsicht erfordert, um zu funktionieren. Diese Ansätze können fragil sein; wenn die Daten verrauscht sind oder ein neuer Knoten erscheint, den das System noch nie gesehen hat, kann die gesamte Struktur versagen. Die Herausforderung bestand darin, einen Weg zu finden, diese verschlungenen Netzwerke in eine Sprache zu übersetzen, die Computer leicht lesen können, ohne die einzigartige Form der Beziehungen zu verlieren oder die Maschine dabei auszubrennen.

Ein Team von Forschern der Portland State University hat einen Lösungsvorschlag präsentiert, der weniger wie ein Standard-Computeralgorithmus wirkt und mehr wie die Art und Weise, wie das Gehirn eines Säugetiers lernt. Sie entwickelten ein neues System namens „Columnar-Embedder“, das darauf ausgelegt ist, die komplexe Struktur eines Graphen in einen kompakten, binären Code zu übersetzen. Anstatt sich auf die schwere, energieintensive mathematische Optimierung zu verlassen, die bei den meisten modernen Systemen der künstlichen Intelligenz verwendet wird, ahmt dieses System die biologische Architektur des zerebralen Kortex nach. Es lernt, indem es Muster beobachtet, die durch das Netzwerk fließen, ganz so, wie das Gehirn einen Strom von sensorischen Inputs verarbeitet. Die Forscher fanden heraus, dass ihr System durch die Verwendung eines Satzes lokaler Lernregeln, die von der Biologie inspiriert sind, überraschend effektive Repräsentationen von Graphknoten erstellen konnte. Diese Repräsentationen sind nicht nur genau; sie sind auch unglaublich resistent gegen Rauschen und Korruption, und sie können kontinuierlich gelernt werden, ohne dass es eines Labels oder eines Lehrers bedarf, der Fehler korrigiert.

Der Kern dieser Arbeit liegt darin, wie das System Informationen verarbeitet. Die meisten aktuellen Methoden zum Verständnis von Graphen verlassen sich auf „Random Walks“ (Zufallsbewegungen), bei denen ein virtueller Reisender von einem Knoten zum nächsten springt und den Pfad aufzeichnet. Diese Pfade werden dann in komplexe neuronale Netze eingespeist, die versuchen, die Bedeutung der Verbindungen zu erraten. Dieser Prozess ist rechenintensiv und erfordert oft, dass der gesamte Datensatz gleichzeitig in den Speicher geladen wird. Der Columnar-Embedder wählt einen anderen Weg. Er behandelt den Graphen als einen Informationsstrom, ähnlich der Art und Weise, wie der visuelle Cortex eine Szene verarbeitet. Das System ist mit Schichten künstlicher Neuronen aufgebaut, die in kleinen Säulen organisiert sind und die Mini-Säulen im Gehirn eines Säugetiers widerspiegeln. Wenn ein Random Walk durch das Netzwerk läuft, aktiviert er spezifische Neuronen auf eine spärliche, binäre Weise. Das bedeutet, dass für ein gegebenes Stück Daten nur ein winziger Bruchteil der verfügbaren Neuronen – etwa ein bis vier Prozent – gleichzeitig feuert. Diese Spärlichkeit (Sparsity) ist ein Schlüsselmerkmal biologischer Gehirne und ermöglicht es ihnen, riesige Mengen an Informationen effizient zu speichern und nach Schäden oder Rauschen zu regenerieren.

Um zu lernen, was diese Muster bedeuten, nutzt das System einen Satz von Regeln, die streng lokal sind. In vielen Systemen der künstlichen Intelligenz erfordert das Lernen ein globales Signal, das rückwärts durch das Netzwerk reist, um jede Verbindung anzupassen – ein Prozess, der als Backpropagation bekannt ist. Dieses Paper lehnt diesen Ansatz explizit ab. Stattdessen nutzt der Columnar-Embedder eine Lernregel, die auf dem Bienenstock-Cooper-Munro-Prinzip basiert, welche die Stärke der Verbindungen zwischen Neuronen basierend auf deren unmittelbarer Aktivität und einem statistischen Signal anpasst, das daraus abgeleitet wird, wie oft Knoten in den Random Walks gemeinsam auftreten. Wenn zwei Knoten häufig in der Nähe zueinander in dem Graphen erscheinen, verstärkt das System die Verbindung zwischen den Neuronen, die sie repräsentieren. Wenn sie selten zusammen auftreten, schwächt sich die Verbindung ab. Dies geschieht ohne jegliche externe Aufsicht oder Labels, die dem System die richtige Antwort vorgeben. Das System beobachtet einfach den Fluss der Daten und passt seine interne Struktur an die Statistik des Graphen an.

Die Forscher testeten diese Architektur an mehreren Standard-Graph-Datensätzen, darunter Netzwerke wissenschaftlicher Zitationen und Produktempfehlungen. Sie verglichen die Leistung des Systems mit modernsten Methoden, die dichte, kontinuierliche Zahlen verwenden, um Knoten zu repräsentieren. Die Ergebnisse zeigten, dass der Columnar-Embedder in Aufgaben wie der Klassifizierung von Knoten und der Vorhersage fehlender Verbindungen mit diesen komplexen, schwergewichtigen Methoden konkurrieren konnte. Beispielsweise identifizierte das System auf einem Datensatz wissenschaftlicher Arbeiten die Kategorie eines Papers basierend auf seinen Nachbarn mit einer Genauigkeit, die mit den besten existierenden Werkzeugen mithielt. Was vielleicht noch frappierender ist, ist das Verhalten des Systems unter Druck. Als die Forscher Rauschen in die Daten einführten – indem sie Bits im Code umkehrten oder Verbindungen entfernten –, hielt der Columnar-Embedder die Stellung weit besser als die traditionellen Methoden. Während die dichten Repräsentationen rapide degradierten, sobald die Daten korrumpiert wurden, bewahrten die spärlichen binären Codes ihre Fähigkeit, zwischen verschiedenen Gruppen von Knoten zu unterscheiden. Dies deutet darauf hin, dass die Struktur des Systems eine natürliche Resistenz gegen Fehler bietet – eine Eigenschaft, die in biologischen Systemen verbreitet, in der aktuellen künstlichen Intelligenz jedoch selten ist.

Ein weiterer bedeutender Befund ist die Skalierbarkeit des Systems. Die Forscher wandten dieselbe Architektur auf wesentlich größere Graphen an, einschließlich eines Netzwerks von Physik-Koautorschaften mit fast 35.000 Knoten, ohne die zugrunde liegenden Einstellungen oder Parameter zu ändern. Das System behielt seine hohe Leistung und seine Fähigkeit, zwischen verschiedenen Knotentypen zu unterscheiden, bei. Diese Skalierbarkeit ist entscheidend, da viele reale Graphen, wie soziale Netzwerke oder das Internet selbst, massiv sind und sich ständig verändern. Das Design des Systems ermöglicht es, kontinuierlich aus einem Datenstrom zu lernen und sich an neue Knoten und Verbindungen anzupassen, während sie erscheinen, ohne dass es von Grund auf neu trainiert werden muss. Diese Fähigkeit zum kontinuierlichen Lernen ist ein direktes Resultat der biologischen Inspiration; genau wie das Gehirn keine alten Erinnerungen vergisst, wenn es neue lernt, leidet der Columnar-Embedder nicht unter „katastrophalem Vergessen“ – ein häufiges Problem, bei dem neues Lernen altes Wissen in traditionellen neuronalen Netzen überschreibt.

Die Architektur erreicht dies durch die Organisation ihrer Neuronen in einer Hierarchie. Die erste Schicht kodiert den Input, die zweite Schicht organisiert die Informationen in Säulen, die miteinander um die Repräsentation der Daten konkurrieren, und eine dritte Schicht erweitert die Repräsentation, um sicherzustellen, dass selbst Knoten, die sich sehr ähnlich sehen, eindeutige Codes erhalten. Dieser Prozess wird durch einen Mechanismus vorangetrieben, der Diversität innerhalb der Säulen fördert und so sicherstellt, dass das System nicht in ein einziges, repetitives Muster kollabiert. Das Ergebnis ist eine Repräsentation, die sowohl kompakt als auch hochspezifisch ist. Die Forscher fanden heraus, dass sie jeden Knoten mit einem Code von nur 28 aktiven Bits aus einer Auswahl von 1.800 Bits repräsentieren konnten – ein Effizienzniveau, das um Größenordnungen kompakter ist als die dichten Vektoren, die von anderen Methoden verwendet werden. Diese Effizienz übersetzt sich direkt in geringere Speicheranforderungen und schnellere Verarbeitungsgeschwindigkeiten, was das System zu einem vielversprechenden Kandidaten für Anwendungen macht, bei denen Ressourcen begrenzt sind oder Daten in einem kontinuierlichen Strom eintreffen.

Letztendlich zeigt diese Arbeit, dass die Prinzipien, die das biologische Lernen steuern, erfolgreich auf das abstrakte Problem der Graph-Repräsentation angewendet werden können. Indem sie sich von der schweren, globalen Optimierung des modernen Deep Learning abwenden und die lokale, spärliche und kontinuierliche Natur biologischer Systeme annehmen, haben die Forscher ein Werkzeug geschaffen, das nicht nur effektiv, sondern auch robust und effizient ist. Das System benötigt nicht die massiven Rechenressourcen oder die sorgfältig kuratierten Datensätze, die für andere Graph-Embedding-Techniken oft notwendig sind. Stattdessen lernt es aus der rohen Struktur der Daten selbst und findet Muster und Beziehungen durch einen Prozess, der der Art und Weise ähnelt, wie das Gehirn die Welt begreift. Die Ergebnisse legen nahe, dass es einen gangbaren Weg gibt, um eine künstliche Intelligenz zu schaffen, die anpassungsfähiger, energieeffizienter und resistenter gegenüber der chaotischen, unvorhersehbaren Natur realer Daten ist.