Absolute abstraction: a renormalisation group approach

Die Arbeit argumentiert, dass absolute Abstraktion in neuronalen Netzen nicht allein durch Tiefe, sondern entscheidend durch die Breite des Trainingsdatensatzes erreicht wird, was durch eine Renormierungsgruppen-Analyse und numerische Experimente mit Hierarchical Feature Models bestätigt wird.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, die Welt zu verstehen. Wenn Sie ein Baby sind, sehen Sie nur eine riesige, chaotische Masse aus Farben, Geräuschen und Formen. Sie wissen nicht, was ein „Hund" ist oder was ein „Auto". Sie sehen nur Details: ein Fell, ein Rad, ein Licht.

Dieser Artikel von Carlo Orientale Caputo und seinen Kollegen erklärt, wie unser Gehirn (und auch künstliche Intelligenz) lernt, aus diesem Chaos abstrakte Konzepte zu bilden. Und das Spannende daran: Es reicht nicht, nur tiefer zu schauen. Man muss auch breiter schauen.

Hier ist die einfache Erklärung der Kernideen, verpackt in ein paar anschauliche Bilder:

1. Das Problem: Nur tiefer graben reicht nicht

Stellen Sie sich vor, Sie sind ein Detektiv, der ein Verbrechen aufklärt.

• Tiefe (Depth): Wenn Sie nur sehr tief in einem Fall graben, finden Sie vielleicht jede winzige Faser auf dem Teppich. Aber Sie verstehen vielleicht nicht, warum das Verbrechen passiert ist. Sie sind im Detail verloren.
• Breite (Breadth): Wenn Sie aber nur viele verschiedene Fälle sehen, ohne sie zu vergleichen, haben Sie nur eine riesige Liste von Fakten.

Die Autoren sagen: Um wirklich zu verstehen (abstrahieren), müssen Sie beides tun. Sie müssen viele verschiedene Fälle sehen (Breite) und diese Informationen in einer Hierarchie sortieren (Tiefe).

2. Die Analogie: Der Fotograf mit dem Zoom

Stellen Sie sich einen Fotografen vor, der die Welt abbildet.

• Der erste Zoom (Schmale Sicht): Er macht ein Foto von nur einer Katze. Er sieht jedes einzelne Haar, die Pupille, die Schnurrhaare. Das ist sehr detailliert, aber es ist nur diese eine Katze. Wenn er eine andere Katze sieht, passt das Bild nicht mehr.
• Der zweite Zoom (Breite Sicht): Jetzt macht er Fotos von 100 verschiedenen Katzen, Hunden, Elefanten und Vögeln. Um das alles in einem Bild zu vereinen, muss er herauszoomen. Er verliert die Details der einzelnen Haare. Aber dafür erkennt er plötzlich das große Muster: „Das sind alle Tiere mit vier Beinen."
• Der dritte Zoom (Absolut abstrakt): Wenn er noch weiter herauszoomt und noch mehr Arten hinzufügt (Fische, Insekten, Pflanzen), verliert er die Details der Beine. Aber er erkennt das ultimative Konzept: „Lebewesen".

Das ist Abstraktion: Das Weglassen der unwichtigen Details (die Farbe des Fells, die Größe), um das Wesentliche zu behalten (es ist ein Lebewesen).

3. Die Magie: Die „Hierarchische Feature-Modell" (HFM)

Die Autoren sagen, dass es einen perfekten Zustand gibt, den sie das „Hierarchische Feature-Modell" nennen.

Stellen Sie sich eine Bibliothek vor.

• In einer schlechten Bibliothek sind die Bücher chaotisch durcheinander geworfen.
• In einer perfekten, abstrakten Bibliothek (dem HFM) sind die Bücher so organisiert, dass sie eine klare Hierarchie bilden:
  • Ganz oben steht das große Thema (z. B. „Wissenschaft").
  • Darunter die Kategorien (z. B. „Physik", „Biologie").
  • Darunter die Unterthemen.
  • Ganz unten stehen die einzelnen Bücher.

Das Besondere an diesem Modell ist: Es ist unabhängig von den Büchern selbst. Egal, ob Sie über Physik oder über Kochrezepte lernen – wenn Sie genug verschiedene Dinge lernen und tief genug nachdenken, wird die Struktur Ihrer Wissensbibliothek immer gleich aussehen. Sie wird immer dieser perfekten, hierarchischen Form folgen.

4. Was die Computer-Experimente zeigten

Die Forscher haben künstliche Intelligenzen (Neuronale Netze) trainiert.

• Sie gaben ihnen erst nur Bilder von einer einzigen Zahl (z. B. nur die „2").
• Dann gaben sie ihnen alle Zahlen (0 bis 9).
• Dann gaben sie ihnen Buchstaben, Kleidungsfotos und sogar Bilder von Autos.

Das Ergebnis:
Je mehr verschiedene Dinge die KI lernte (Breite) und je tiefer sie in ihre Schichten dachte (Tiefe), desto mehr ähnelte ihr „Gehirn" diesem perfekten, abstrakten Bibliotheks-Modell.
Die KI vergaß die Details (z. B. dass eine „2" immer schwarz auf weiß ist) und lernte stattdessen das Konzept der „Zahl".

5. Die große Erkenntnis: „Verstehen" ist universell

Der wichtigste Punkt des Papers ist dieser:
Wenn wir (oder KI) wirklich etwas verstehen, dann ist unser inneres Bild der Welt nicht mehr von den spezifischen Daten abhängig.

• Ein Anfänger denkt: „Das ist ein Hund."
• Ein Experte (oder eine abstrakte KI) denkt: „Das ist ein Lebewesen, das sich bewegt, atmet und Nahrung braucht."

Die Details (Hund, Katze, Auto) werden in den Parametern (den „Einstellungen" des Gehirns) gespeichert, aber das innere Gerüst, wie wir die Welt ordnen, wird immer gleich. Es ist wie eine universelle Landkarte. Egal, ob Sie in Berlin oder in New York sind, die Landkarte der „Stadt" sieht im Kern gleich aus: Es gibt Straßen, Häuser und Menschen.

Fazit für den Alltag

Dieser Artikel sagt uns: Um wirklich klug zu sein und Dinge zu verstehen, reicht es nicht, nur viel zu lernen. Wir müssen vielfältig lernen. Wir müssen uns mit vielen verschiedenen Dingen beschäftigen, um die gemeinsamen Muster zu erkennen.

Wenn wir das tun, verwandeln sich unsere Gedanken von einer Ansammlung von Details in eine klare, universelle Struktur. Das ist der Schlüssel zum wahren Verstehen – und vielleicht auch der Schlüssel, wie künstliche Intelligenz eines Tages wirklich „denken" wird.

Technische Zusammenfassung

1. Problemstellung und Motivation

Das Papier adressiert das fundamentale Problem der Abstraktion in neuronalen Netzen und kognitiven Systemen. Abstraktion wird definiert als der Prozess, bei dem wesentliche Merkmale aus Rohdaten extrahiert und irrelevante Details ignoriert werden.

• Hypothese: Es ist bekannt, dass tiefe neuronale Netze durch ihre Schichttiefe (Depth) abstraktere Repräsentationen entwickeln (z. B. von Kanten zu Objekten). Die Autoren argumentieren jedoch, dass Tiefe allein nicht ausreicht, um eine wirklich abstrakte, universelle Darstellung zu erreichen.
• Kernthese: Das Ausmaß der Abstraktion hängt entscheidend von der Breite des Trainingsdatensatzes (Breadth) ab. Nur wenn die Tiefe mit einer sich erweiternden Vielfalt an Daten kombiniert wird, entstehen universelle, datenunabhängige Repräsentationen.
• Ziel: Die Charakterisierung dieser „absoluten Abstraktion" basierend ausschließlich auf statistischen Eigenschaften, unabhängig vom spezifischen Inhalt der Daten, unter Verwendung informationstheoretischer Prinzipien.

2. Methodik: Renormierungsgruppen-Ansatz (RG)

Die Autoren modellieren den Lernprozess als Renormierungsgruppe (RG) aus der statistischen Physik.

• Analogie: Das Lernen in immer tieferen Schichten mit immer breiteren Datensätzen wird mit dem RG-Verfahren verglichen, bei dem kleine Skalen (Details) herausgemittelt (Coarse Graining) und das System neu skaliert wird.
• Transformationen:
  1. Zoom-out (Erweiterung): Wenn der Datensatz erweitert wird, müssen neue großskalige Merkmale eingeführt werden, während feine Details (kleine Skalen) verworfen werden, um die begrenzte Kapazität der Repräsentation zu wahren.
  2. Zoom-in (Verfeinerung): Das Gegenteil, bei dem man sich auf eine Teilmenge konzentriert und Details hinzufügt.
• Fixpunkt: Das Ziel ist die Identifikation des eindeutigen Fixpunkts dieser RG-Transformation. Dieser Fixpunkt repräsentiert den idealen Zustand der Abstraktion bei unendlicher Tiefe und Breite.
• Theoretisches Modell: Der Fixpunkt wird als Hierarchical Feature Model (HFM) identifiziert. Das HFM ist ein Maximum-Entropie-Modell, das vollständig durch eine einzige hinreichende Statistik bestimmt ist: das durchschnittliche Detailniveau ($m_s$) der Merkmale.

3. Schlüsselbeiträge und Theoretische Ergebnisse

• Universelle Repräsentation: Das Papier zeigt, dass der Fixpunkt der RG-Transformation eine Verteilung ist, die keine Informationen über die spezifische Natur der Daten enthält. Daten-spezifische Informationen werden in die Parameter der bedingten Verteilung $p(x|s)$ verschoben, während die interne Repräsentation $p(s)$ universell wird.
• Verbindung zum HFM: Der Fixpunkt entspricht dem HFM, das den Prinzip der maximalen Relevanz erfüllt. Dies bedeutet, dass die Verteilung der Kodierungskosten (Coding Cost) so breit wie möglich ist, was eine robuste Unterscheidungsfähigkeit ermöglicht.
• Phasenübergang: Im HFM tritt bei einem kritischen Parameterwert $g_c = \log 2$ ein Phasenübergang auf. Unterhalb dieses Werts dominiert eine zufällige Phase, oberhalb eine „niedrigtemperatur"-Phase, in der die Entropie endlich bleibt.
• Informationstheorie: Die Autoren argumentieren, dass das HFM die ideale abstrakte Darstellung ist, da es die Daten nach ihren Kodierungskosten organisiert und somit ein optimales Gerüst für das Lernen darstellt.

4. Experimentelle Ergebnisse

Die theoretischen Vorhersagen wurden numerisch an zwei Architekturen getestet: Deep Belief Networks (DBNs) und Auto-Encoder (AEs). Die Modelle wurden auf Datensätzen unterschiedlicher Breite trainiert (von MNIST über Fashion-MNIST, EMNIST bis hin zu CIFAR-10).

• Metrik: Die Distanz der internen Repräsentationen zum HFM wurde mittels der Kullback-Leibler-Divergenz (KL-Divergenz) gemessen.
• Ergebnisse:
  • Kombination von Tiefe und Breite: Die KL-Divergenz nimmt ab, wenn sowohl die Tiefe des Netzwerks als auch die Breite des Trainingsdatensatzes zunehmen. Dies bestätigt die Hypothese, dass beides für die Annäherung an den Fixpunkt notwendig ist.
  • Robustheit: Das Ergebnis ist robust gegenüber Trainingszeit, der Reihenfolge der Datensätze und der Segmentierung der Daten.
  • Parameter $g$: Der gefittete Parameter $g$ des HFM nähert sich mit zunehmender Breite und Tiefe dem kritischen Wert $g_c = \log 2$ an.
  • Auto-Encoder: Auch bei Auto-Encodern zeigt sich, dass die latente Repräsentation mit zunehmender Tiefe und Datensatzbreite die Vorhersagen des HFM erfüllt. Die häufigsten Zustände im latenten Raum korrelieren stark mit den wahrscheinlichsten Zuständen des HFM.

5. Bedeutung und Fazit

• Neues Verständnis von Abstraktion: Das Papier liefert eine mathematische Definition für „absolute Abstraktion" als einen Fixpunkt eines RG-Prozesses, der durch die Kombination von Tiefe und Breite erreicht wird.
• Platonische Repräsentations-Hypothese: Die Ergebnisse stützen die Hypothese, dass verschiedene neuronale Netze, die auf unterschiedlichen Daten trainiert werden, in ihren Repräsentationsräumen zu einem gemeinsamen statistischen Modell der Realität konvergieren.
• Lernen vs. Verstehen: Die Autoren unterscheiden zwischen „Fitting" (Anpassung von Parametern an Daten) und „Lernen" (Beschreibung der Variation der Daten). Eine datenunabhängige interne Repräsentation (wie das HFM) macht Lernen ähnlicher dem Verstehen und fördert intelligentes Verhalten, da es eine Karte der Möglichkeiten bietet, die auf neue, unbekannte Aufgaben verallgemeinerbar ist.
• Sprachtheorie: Die Autoren ziehen eine Parallele zur Chomsky'schen Linguistik, wobei universelle Grammatiken als Fixpunkte von Transformationen in tiefen kortikalen Bereichen interpretiert werden könnten, die durch die Integration breiter sensorischer Inputs entstehen.

Zusammenfassend stellt das Paper einen Brückenschlag zwischen statistischer Physik (Renormierungsgruppe), Informationstheorie und maschinellem Lernen dar, um zu erklären, wie universelle, abstrakte Konzepte in neuronalen Systemen entstehen.