Predictive Coding Graphs are a Superset of Feedforward Neural Networks

Der Artikel beweist, dass Predictive Coding Graphs (PCGs) eine mathematische Obermenge von Feedforward-Neuronalen Netzen darstellen und sie dadurch stärker in den Bereich des maschinellen Lernens einordnen.

Das Wesentliche

Hier ist eine einfache Erklärung der wissenschaftlichen Arbeit von Björn van Zwol, verpackt in eine Geschichte mit Alltagsanalogien.

Das große Rätsel: Wie ein neuer Netzwerk-Typ alte Klassiker übertrifft

Stell dir vor, du möchtest ein riesiges, intelligentes Team bauen, das Aufgaben löst – zum Beispiel Bilder erkennen oder Texte schreiben. In der Welt der Künstlichen Intelligenz (KI) gibt es dafür zwei Hauptarten von Teams:

1. Die klassischen Teams (Feedforward Neural Networks / FNNs): Das sind wie eine Fließbandfabrik. Die Arbeit geht nur in eine Richtung: Von links nach rechts. Ein Mitarbeiter gibt das Ergebnis an den nächsten weiter, und so geht es bis zum Ende. Das ist sehr effizient, aber es ist starr. Wenn ein Fehler passiert, muss das ganze Band zurückspulen, um ihn zu korrigieren (das nennt man "Backpropagation" oder Rückwärtspropagierung).
2. Die neuen Teams (Predictive Coding Networks / PCNs): Diese arbeiten nach einem anderen Prinzip. Sie sind wie ein Team von Detektiven, die ständig Vermutungen aufstellen. Jeder Detektiv sagt: "Ich glaube, das ist ein Hund." Der nächste Detektiv prüft das und sagt: "Nein, ich glaube eher, es ist eine Katze." Sie tauschen sich hin und her aus, bis alle sich auf eine Antwort einigen. Das ist biologisch realistischer (wie unser Gehirn) und flexibler.

Die große Entdeckung: Der "Super-Netzwerk"-Baukasten

Der Autor dieses Papers, Björn van Zwol, hat etwas Spannendes herausgefunden. Er hat bewiesen, dass die neuen "Detektiv-Teams" (PCNs) im Grunde genommen genau das Gleiche tun wie die alten "Fließband-Fabriken" (FNNs), wenn sie eine Aufgabe lösen (also "testen").

Die Analogie:
Stell dir vor, die Fließband-Fabrik ist ein spezieller Fall eines riesigen, flexiblen Baukastens.

• Wenn du den Baukasten so zusammenbaust, dass alle Teile nur in eine Richtung zeigen, hast du eine Fließband-Fabrik.
• Aber der Baukasten erlaubt dir auch, Teile rückwärts zu verbinden, seitlich zu verbinden oder sogar Schleifen zu bauen.

Das Paper nennt diesen flexiblen Baukasten Predictive Coding Graphs (PCGs).

Die drei wichtigsten Punkte (einfach erklärt)

1. Der Beweis: "Detektive können auch Fließbänder sein"

Früher dachten viele, diese neuen Detektiv-Netzwerke (PCNs) seien etwas völlig anderes als die klassischen Netzwerke. Van Zwol beweist nun: Nein, sie sind identisch.
Wenn ein Detektiv-Netzwerk fertig trainiert ist und eine Aufgabe löst, läuft es exakt so ab wie eine Fließband-Fabrik. Das ist wichtig, weil es bedeutet: Alles, was wir über die Leistungsfähigkeit der alten Fließbänder wissen (dass sie fast jede Aufgabe lösen können), gilt auch für die neuen Detektive.

2. Der "Super-Baukasten" (PCGs)

Hier wird es spannend. Die Detektiv-Netzwerke (PCNs) sind selbst schon flexibel, aber der Autor zeigt, dass es noch eine noch flexiblere Version gibt: die PCGs.

• PCNs sind wie ein Haus mit Treppen: Du gehst von Etage zu Etage.
• PCGs sind wie ein Wohnblock mit Aufzügen, Rutschen, Brücken und sogar Rückwärts-Aufzügen.

In einem PCG kannst du Verbindungen überall hinlegen:

• Vorwärts (wie beim Fließband).
• Rückwärts (Information fließt zurück).
• Seitwärts (Nachbarn sprechen miteinander).
• Schleifen (Information zirkuliert).

Das Paper beweist mathematisch: Jedes klassische Fließband ist nur eine spezielle, eingeschränkte Version dieses riesigen PCG-Baukastens. Der PCG ist also eine "Obermenge" (Superset). Er enthält alles, was die alten Netze können, und noch viel mehr.

3. Warum ist das toll? (Die Vorteile)

Warum wollen wir diesen riesigen Baukasten?

• Biologische Plausibilität: Unser Gehirn funktioniert nicht wie ein starres Fließband, sondern wie ein Netzwerk mit vielen Rückkopplungen. PCGs ahmen das besser nach.
• Neue Strukturen: Mit PCGs kann man Netzwerke bauen, die mit den alten Methoden (Backpropagation) gar nicht trainiert werden können. Stell dir vor, du könntest ein Netzwerk bauen, das sich selbst korrigiert, indem es Informationen in Schleifen nutzt, ohne den ganzen Prozess neu starten zu müssen.
• Skip-Connections (Überbrückungen): Du hast vielleicht von "ResNet" gehört, einer KI-Technik, die sehr erfolgreich ist. Diese nutzt "Überbrückungen" (Skip Connections), die Informationen über mehrere Ebenen springen lassen. Van Zwol zeigt: Das ist im PCG-Baukasten einfach nur eine spezielle Art, die Klemmen zu setzen. Aber der Baukasten erlaubt auch Rückwärts-Überbrückungen. Vielleicht sind auch diese noch besser? Das ist eine spannende Frage für die Zukunft.

Ein kleiner Haken (Die Realität)

Es gibt einen Preis für diese Flexibilität.

• Ein Fließband (FNN) ist schnell. Es läuft einmal durch und fertig.
• Ein PCG muss oft "nachdenken". Da die Informationen hin und her fließen (Rückkopplungen), muss das System mehrere Runden durchlaufen, bis es sich auf eine Antwort geeinigt hat. Das dauert beim Testen etwas länger.

Aber: Der Autor sagt, das könnte sich lohnen. Vielleicht ist die längere Rechenzeit beim Testen durch die enormen Vorteile beim Lernen und die flexibleren Strukturen mehr als wettgemacht.

Fazit in einem Satz

Dieses Paper zeigt uns, dass die neuen, biologisch inspirierten KI-Modelle (Predictive Coding) nicht nur eine Alternative zu den alten Modellen sind, sondern dass sie die alten Modelle in sich tragen und gleichzeitig einen riesigen, bisher ungenutzten Spielraum für völlig neue, effizientere Netzwerk-Strukturen eröffnen.

Es ist, als hätte man immer nur mit einem Lineal gemessen und plötzlich entdeckt, dass man einen ganzen Werkzeugkasten mit Maßbändern, Winkeln und 3D-Scannern besitzt – und das Lineal war nur das allererste Werkzeug darin.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Predictive Coding Graphs are a Superset of Feedforward Neural Networks" von Björn van Zwol auf Deutsch.

1. Problemstellung

Das Paper adressiert die theoretische Lücke zwischen Predictive Coding Networks (PCNs) und traditionellen Feedforward Neural Networks (FNNs), auch bekannt als Multilayer Perceptrons (MLPs).

• Hintergrund: PCNs sind biologisch inspirierte probabilistische Modelle, die auf dem Prinzip des „Predictive Coding" basieren. Sie werden als biologisch plausiblere Alternative zum Backpropagation (BP)-Algorithmus diskutiert und ermöglichen paralleles Lernen sowie generative Modellierung.
• Die Herausforderung: Während bekannt ist, dass PCNs während des Trainings (Inferenz-Lernen, IL) komplexere Dynamiken aufweisen als FNNs, war die mathematische Beziehung zwischen PCNs und FNNs während der Testphase (Inferenz) nicht formal streng bewiesen. Zudem war unklar, wie die neu eingeführten Predictive Coding Graphs (PCGs), die beliebige Graph-Topologien (inklusive Schleifen und nicht-hierarchischer Strukturen) erlauben, zu FNNs und PCNs in Beziehung stehen.
• Ziel: Das Paper zielt darauf ab, formal zu beweisen, dass PCGs eine mathematische Obermenge von FNNs darstellen und somit die theoretische Grundlage für die Anwendung von PCNs auf maschinelles Lernen (ML) stärken.

2. Methodik

Der Autor verwendet eine formale mathematische Analyse, um zwei zentrale Theoreme zu beweisen. Die Analyse trennt strikt zwischen der Aktivitätsregel (Dynamik der Knoten während Training und Test) und der Lernregel (Gewichtsupdate).

• Definitionen:

  • FNN: Definiert durch eine Aktivitätsregel $a^\ell_i = f(\sum w a)$, die typischerweise mit Backpropagation trainiert wird.
  • PCN: Definiert durch eine Energiefunktion $E_N = \sum (\epsilon^\ell_i)^2$, wobei $\epsilon$ die Differenz zwischen tatsächlicher Aktivität und Vorhersage ist. Die Aktivität wird durch Minimierung dieser Energie bestimmt (Inferenz-Lernen).
  • PCG: Eine Verallgemeinerung des PCN auf beliebige Graphen mit $N$ Knoten und einer allgemeinen Gewichtsmatrix, die nicht auf hierarchische Schichten beschränkt ist.

• Beweisstrategie:

  1. Äquivalenz im Testmodus: Es wird gezeigt, dass die Minimierung der Energie eines PCN während des Tests (Inferenz) exakt zur gleichen Berechnung führt wie die Vorwärtsdurchlauf-Formel eines FNN. Dies geschieht durch Ableitung der Energie nach den Aktivierungen und Rückwärtsinduktion, um zu zeigen, dass alle Fehlerterme $\epsilon$ null werden, was die FNN-Gleichung ergibt.
  2. Einbettung in Graphen: Es wird bewiesen, dass ein PCN als Spezialfall eines PCG betrachtet werden kann. Dies wird erreicht, indem die Gewichtsmatrix des PCG so strukturiert wird, dass sie nur Verbindungen zwischen aufeinanderfolgenden Schichten erlaubt (hierarchische Struktur), während alle anderen Verbindungen (Rückwärts, lateral, Skip) auf Null gesetzt werden.

3. Schlüsselbeiträge

1. Formaler Beweis der Äquivalenz (PCN $\equiv$ FNN im Test):
   Das Paper liefert einen strengen Beweis, dass ein PCN während der Inferenzphase (Testzeit) mathematisch äquivalent zu einem FNN ist. Dies ist eine stärkere Aussage als frühere Arbeiten, die nur zeigten, dass PCNs konvergieren. Diese Äquivalenz ermöglicht es, den Universal Approximation Theorem (UAT) direkt auf PCNs anzuwenden, was bisher theoretisch nicht formal begründet war.

2. PCGs als mathematische Obermenge:
   Der Autor beweist, dass Predictive Coding Graphs (PCGs) eine Obermenge von PCNs sind. Durch eine spezifische Wahl der Gewichtsmatrix (Block-Matrix-Struktur mit Nullen außerhalb der Feedforward-Blöcke) wird ein PCG exakt zu einem PCN.

   • Implikation: Da PCNs FNNs sind, sind PCGs per Definition eine Obermenge von FNNs. PCGs erlauben somit Strukturen (Rückwärtsverbindungen, laterale Verbindungen, Schleifen), die mit Backpropagation nicht trainierbar sind, aber durch Inferenz-Lernen (IL) handhabbar sind.

3. Neue Perspektive auf Topologie und Skip-Connections:
   Das Paper visualisiert, wie Skip-Connections (wie in ResNets) als Teil der allgemeinen Gewichtsmatrix eines PCG betrachtet werden können. Es wird argumentiert, dass die in PCGs möglichen nicht-feedforward Verbindungen (Rückwärts, lateral) analog zu Skip-Connections Vorteile bringen könnten, die bisher noch nicht vollständig erforscht sind.

4. Unterscheidung von RNNs:
   Es wird klargestellt, dass die Rekurrenz in PCGs (in „Inferenzzeit") sich fundamental von der Rekurrenz in rekurrenten neuronalen Netzen (RNNs, in „Datenzeit") unterscheidet. PCGs nutzen Rekurrenz zur Lösung von Optimierungsproblemen innerhalb eines einzelnen Datenpunkts, nicht zur Verarbeitung von Sequenzen über die Zeit.

4. Ergebnisse

• Theoretische Konsolidierung: Die Arbeit stellt eine solide theoretische Basis her, die PCNs und PCGs fest in den Mainstream des maschinellen Lernens integriert. Sie zeigt, dass PCNs nicht nur biologisch plausibel, sondern auch mathematisch äquivalent zu den erfolgreichsten Modellen (FNNs) sind, solange sie zur Inferenz genutzt werden.
• Universal Approximation: Da FNNs universelle Funktionsapproximatoren sind und PCNs im Testmodus FNNs entsprechen, sind auch PCNs universelle Approximatoren.
• Topologische Flexibilität: PCGs erweitern den Suchraum der Netzwerkarchitekturen über hierarchische Strukturen hinaus. Während frühere Studien zeigten, dass vollständig verbundene Graphen (all-to-all) auf MNIST besser abschneiden als Boltzmann-Maschinen, aber schlechter als hierarchische Netze, eröffnet die Theorie nun den Weg, gezielt nicht-hierarchische Strukturen zu nutzen, die durch BP untrainierbar wären.
• Komplexität: Es wird angemerkt, dass die Inferenz in PCGs rechnerisch teurer ist ($O(N^2 T)$) als bei FNNs ($O(LM)$), da iterative Inferenzschritte nötig sind. Dies könnte jedoch durch Vorteile im Trainingsprozess oder durch Sparsität der Graphen kompensiert werden.

5. Bedeutung und Ausblick

• Theoretische Validierung: Das Paper füllt eine wichtige Lücke in der Literatur, indem es mathematische Strenge in ein Feld bringt, das oft auf empirischen Beobachtungen oder biologischen Analogien basiert. Es legitimiert PCNs als ernstzunehmende Alternative zu Backpropagation.
• Inspiration für neue Architekturen: Die Erkenntnis, dass PCGs eine Obermenge von FNNs sind, ermutigt die Forschung, sich stärker auf die Rolle der Netzwerktopologie zu konzentrieren. Die Frage, ob Rückwärts- oder laterale Verbindungen in PCGs spezifische Vorteile für bestimmte ML-Aufgaben bieten, wird als vielversprechendes Forschungsgebiet identifiziert.
• Biologische Plausibilität vs. ML-Leistung: Das Paper stärkt die Position, dass biologisch inspirierte Modelle (wie Predictive Coding) nicht nur theoretisch interessant, sondern auch praktisch leistungsfähig und mit etablierten ML-Methoden kompatibel sind.

Zusammenfassend stellt dieses Werk einen Meilenstein dar, der die Brücke zwischen neurobiologisch inspirierten Lernmodellen und der klassischen Theorie tiefer neuronaler Netze schlägt und PCGs als ein flexibles, mathematisch fundiertes Framework für zukünftige ML-Architekturen positioniert.