Probabilistic Circuits as Reasoning Machines in Artificial Intelligence (Part I)
Dieser erste Teil einer kumulativen Habilitationsschrift plädiert für probabilistische Schaltkreise als ein handhabbares Framework für KI-Schlussfolgerungen und Lernen unter Unsicherheit, indem er ein Jahrzehnt der Forschung zu deren theoretischen Grundlagen, Lernalgorithmen, skalierbaren Implementierungen sowie der Integration in tiefe und symbolische maschinelle Lernparadigmen synthetisiert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Auf der Suche nach Maschinen, die denken können, debattieren Wissenschaftler schon lange darüber, welche Sprache die beste für Intelligenz ist. Ein Lager argumentiert für eine starre Logik, bei der Fakten absolut sind und Schlussfolgerungen strengen Regeln folgen. Ein anderes bevorzugt neuronale Netze – Systeme, die durch das Erkennen von Mustern in riesigen Datenmengen lernen, ganz ähnlich wie ein menschliches Gehirn. Doch es gibt einen dritten, älteren Pfad, der Ungewissheit nicht als einen Fehler betrachtet, der behoben werden muss, sondern als ein grundlegendes Merkmal der Welt. Dieser Ansatz stützt sich auf die Wahrscheinlichkeit, einen mathematischen Rahmen, der es einem System ermöglicht zu sagen: „Ich bin mir nicht sicher, aber hier ist die Wahrscheinlichkeit für verschiedene Ausgänge.“ Es ist die Sprache des Risikos, des Wetterwahrsagens oder eines Arztes, der Symptome gegen eine Diagnose abwägt. Die Stärke der Wahrscheinlichkeit liegt in ihrer Fähigkeit, das Bekannte mit dem Unbekannten zu kombinieren und Überzeugungen zu aktualisieren, sobald neue Beweise eintreffen. Dennoch war diese elegante Sprache über Jahrzehnte hinweg in der Praxis schwierig anzuwenden. Obwohl die Regeln für das Schließen mit Wahrscheinlichkeiten einfach sind, erfordert die Durchführung der Berechnungen für komplexe reale Probleme oft eine Anzahl von Schritten, die für einen Computer unmöglich ist und länger dauert als das Alter des Universums.
Robert Peharz, ein Forscher an der Technischen Universität Graz, arbeitet seit einem Jahrzehnt daran, diesen rechnerischen Engpass zu lösen. Seine Arbeit konzentriert sich auf einen speziellen Typ von Modell, den sogenannten probabilistischen Schaltkreis (probabilistic circuit). Stellen Sie sich einen riesigen, verzweigenden Baum vor, bei dem jedes Blatt eine einfache Information darstellt und jeder Ast diese Teile kombiniert, um ein vollständiges Bild der Welt zu formen. In Standardmodellen erfordert die Berechnung der Wahrscheinlichkeit eines spezifischen Szenarios das Nachverfolgen jedes möglichen Pfades durch diesen Baum – eine Aufgabe, die exponentiell schwieriger wird, je größer der Baum wächst. Peharz' Forschung zeigt, dass wir, indem wir einige strenge architektonische Regeln für die Art und Weise festlegen, wie sich diese Äste verbinden, die gesamte Berechnung schnell und exakt machen können. Diese Regeln stellen sicher, dass das Modell niemals stecken bleibt, indem es versucht, jede einzelne Möglichkeit zu zählen. Stattdessen kann es sofort komplexe Fragen beantworten, wie etwa die Vorhersage der wahrscheinlichsten Ursache für eine Reihe von Symptomen oder die Bestimmung der Wahrscheinlichkeit eines bestimmten Ereignisses angesichts eines Berges an Daten.
Der Kern von Peharz' Beitrag ist die Erkenntnis, dass diese Schaltkreise nicht nur eine neue Erfindung sind, sondern eine vereinende Sprache für viele bestehende Methoden darstellen. Er zeigt, dass verschiedene Modelle, von arithmetischen Schaltkreisen bis hin zu Summen-Produkt-Netzwerken, tatsächlich nur unterschiedliche Namen für dieselbe zugrunde liegende Struktur sind. Indem er sie als eine kohärente Familie behandelt, war er in der Lage, einen Satz standardisierter Werkzeuge zu entwickeln, die universell funktionieren. Eine seiner wichtigsten Erkenntnisse ist, dass diese Schaltkreise so gebaut werden können, dass sie „glatt“ (smooth) und „zerlegbar“ (decomposable) sind. Vereinfacht ausgedrückt bedeutet dies, dass das Modell so organisiert ist, dass es niemals versucht, zwei Informationen zu multiplizieren, die von demselben unbekannten Faktor abhängen, und niemals zwei verschiedene Möglichkeiten addiert, die unterschiedliche Sätze von Fakten abdecken. Diese strukturellen Einschränkungen wirken wie ein Verkehrssystem für die Berechnungen des Computers, verhindern Staus und stellen sicher, dass die Informationen reibungslos vom unteren Teil des Baumes zum oberen fließen.
Aufgrund dieser Organisation kann der Computer Aufgaben ausführen, die zuvor als zu schwierig galten. Er kann beispielsweise das durchschnittliche Ergebnis einer Situation berechnen oder die einzige wahrscheinlichste Erklärung für eine Reihe von Beobachtungen in einem Bruchteil einer Sekunde finden. Peharz hat auch gezeigt, wie man diese Schaltkreise lehrt, aus Daten zu lernen. Er entwickelte Methoden, die es dem Modell ermöglichen, seine internen Gewichte automatisch anzupassen und so die beste Anpassung an die Daten zu finden, ohne raten zu müssen. Darüber hinaus hat er bewiesen, dass diese Schaltkreise mit anderen leistungsstarken, aber rechenintensiven Methoden des maschinellen Lernens kombiniert werden können. Indem er den probabilistischen Schaltkreis als schnellen, zuverlässigen Motor nutzt, um die einfachen Teile eines Problems zu bewältigen, und die langsameren, komplexeren Modelle die schwierigen Teile erledigen lässt, wird das Gesamtsystem sowohl leistungsstark als auch effizient. Dieser hybride Ansatz ermöglicht es Forschern, Modelle zu bauen, die nicht nur genau, sondern auch in der Lage sind, ihre Argumentation zu erklären.
Die Arbeit schlägt auch die Brücke zwischen statistischem Lernen und symbolischer Logik. Peharz demonstrierte, dass diese Schaltkreise in Entscheidungsbäume transformiert werden können, eine klassische Methode zur Entscheidungsfindung basierend auf Regeln. Diese Verbindung ermöglicht es dem System, mit fehlenden Daten würdevoll umzugehen; wenn eine Information fehlt, kann der Schaltkreis diesen Zweig einfach ignorieren und dennoch eine gültige Antwort liefern, anstatt zu scheitern. Er wandte diese Ideen auch auf das Feld der Cybersicherheit an, indem er die Schaltkreise nutzte, um physikalische Seitenkanäle, wie etwa den Stromverbrauch, zu analysieren, um geheime Verschlüsselungsschlüssel aufzudecken. In diesen Tests war der schaltkreisbasierte Ansatz signifikant erfolgreicher und robuster gegenüber Rauschen als bisherige Methoden.
Im Laufe seiner Forschung hat Peherz ein weit verbreitetes Missverständnis auf dem Gebiet adressiert: die Vorstellung, dass man sich zwischen einem Modell, das leicht zu berechnen ist, und einem, das aussagekräftig genug ist, um die komplexe Realität zu beschreiben, entscheiden muss. Seine Ergebnisse zeigen, dass dies eine falsche Wahl ist. Obwohl es Grenzen für die Kompaktheit gibt, mit der ein probabilistischer Schaltkreis bestimmte Arten von Daten repräsentieren kann, hat er gezeigt, dass diese Modelle für viele praktische Anwendungen genauso gut oder sogar besser sind als die komplexeren, unberechenbaren Alternativen. Er hat auch klargestellt, dass das Hinzufügen bestimmter Merkmale, wie etwa unnormalisierter Gewichte, die Leistungsfähigkeit des Modells nicht tatsächlich erhöht – eine Erkenntnis, die hilft, das Design dieser Systeme zu vereinfachen.
Das ultimative Ziel dieser Arbeit ist es, künstliche Intelligenz zu erschaffen, die nicht nur intelligent, sondern auch zuverlässig und verständlich ist. Indem er die KI in den strengen Regeln der Wahrscheinlichkeit verankert und sicherstellt, dass die Berechnungen exakt und schnell durchgeführt werden können, bietet Peharz' Forschung ein Fundament für Maschinen, die unter Unsicherheit mit derselben Zuversicht argumentieren können wie ein menschlicher Experte. Dieser Ansatz geht über die „Black Box“-Natur vieler moderner KI-Systeme hinaus und bietet einen Weg, genau nachzuvollziehen, wie eine Schlussfolgerung zustande gekommen ist. Wenn diese Methoden in Deep-Learning-Frameworks integriert und mit anderen Technologien kombiniert werden, versprechen sie, künstliche Intelligenz vertrauenswürdiger zu machen – fähig, die chaotische, unsichere Realität der Welt zu handhaben, ohne dabei Geschwindigkeit oder Genauigkeit zu opfern.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.