The New Associationism: Lessons from Deep Learning

Technisches Resümee: Der neue Assoziationismus: Lehren aus dem Deep Learning

Problemstellung
Die Arbeit adressiert eine zentrale Frage der Kognitionswissenschaft: Was offenbaren die jüngsten Erfolge der Künstlichen Intelligenz (KI), insbesondere des Deep Learning, über die Mechanismen, die dem menschlichen Lernen zugrunde liegen? Während es unumstritten ist, dass Menschen extensiv lernen, bleibt die computationalen Natur dieses Lernens Gegenstand von Debatten. Historisch gesehen wurden assoziationistische Theorien – die postulieren, dass Lernen durch die graduelle Bildung und Anpassung von Assoziationen als Reaktion auf Erfahrung erfolgt – zugunsten regelbasierter, symbolischer und nativistischer Ansätze marginalisiert. Kritiker wie Fodor und Pylyshyn argumentierten, dass konnektionistische (statistische) Modelle zu begrenzt seien, um strukturiertes Denken, Ein-Schuss-Lernen (one-shot learning) und die Systematik der menschlichen Kognition zu erklären. Die Arbeit untersucht, ob die empirischen Triumphe der modernen KI eine spezifische Form des Assoziationismus rechtfertigen und, falls ja, in welchem Umfang und mit welchen Einschränkungen.

Methodik
Der Autor nutzt eine konzeptionelle Analyse zeitgenössischer KI-Systeme, wobei der Fokus auf der funktionalen Ebene des Lernens liegt und nicht auf einer strikten mechanistischen Isomorphie mit biologischen Neuronen. Die Methodik umfasst:

1. Identifizierung des dominanten Paradigmas: Feststellung, dass überwachtes Lernen (Supervised Learning – Lernen aus Input-Output-Paaren zur Minimierung von Fehlern) der zentrale Motor hinter einer Vielzahl moderner KI-Erfolge ist, einschließlich Large Language Models (LLMs), Bildgenerierung und spielender Agenten.
2. Analyse von Reformulierungen: Untersuchung der Art und Weise, wie vielfältige, komplexe Probleme (z. B. Spracherwerb, Reinforcement Learning in Spielen) theoretisch in Probleme des überwachten Lernens untergeordnet wurden. Dies beinhaltet die Rückverfolgung, wie „Labels“ oder evaluative Signale generiert werden, die von direkter menschlicher Annotation bis hin zu selbstüberwachtem Vorhersagen (z. B. Next-Token-Prediction) und gebootstrappter Wertschätzung (z. B. Temporal Difference Learning) reichen.
3. Kartierung auf den Assoziationismus: Vergleich der funktionalen Charakteristika von überwachtem Lernen in tiefen neuronalen Netzen (DNNs) – insbesondere Gradientenabstieg und fehlergesteuerte Parameteranpassung – mit den Kernpunkten klassischer assoziationistischer Theorien (Pawlowsche und operante Konditionierung).
4. Bewertung der Grenzen: Beurteilung der Punkte, an denen die Analogie zwischen KI und menschlichem Lernen bricht, insbesondere im Hinblick auf die computationalen Architekturen, die erforderlich sind, um überwachtes Lernen effektiv zu machen, sowie die Unterscheidung zwischen Lernmechanismen und Verhalten während der Inferenz.

Zentrale Beiträge
Die Arbeit führt drei primäre Argumente an:

1. Die Allgegenwärtigkeit des überwachten Lernens: Der Autor argumentiert, dass überwachtes Lernen nicht bloß ein Paradigma unter vielen ist, sondern der fundamentale Mechanismus hinter den bedeutendsten KI-Durchbrüchen. Selbst Systeme, die scheinbar über Reinforcement Learning oder unüberwachte Generierung operieren, werden oft durch reformulierte Ziele des überwachten Lernens angetrieben, bei denen das „Label“ durch intermediäre Berechnungen konstruiert wird (z. B. Vorhersage von Rauschen in Diffusionsmodellen oder zukünftiger Werte beim Temporal Difference Learning).
2. Rechtfertigung assoziationistischer Ideale: Der Erfolg des Deep Learning stützt eine „bescheidene, aber echte“ Form des Assoziationismus. Speziell validiert er zwei Kernthesen des Assoziationismus:
   • Uniformität: Ein einzener, allgemeiner Lernmechanismus (gradientenbasierte Fehlerkorrektur) operiert über völlig unterschiedliche Domänen hinweg (Vision, Sprache, Strategie), was die assoziationistische Sichtweise unterstützt, dass diverse kognitive Fähigkeiten aus einer gemeinsamen Lernmaschine hervorgehen.
   • Graduelle, fehlergesteuerte Anpassung: Die iterative, statistische Anpassung von Parametern zur Reduktion des Verlusts spiegelt die graduelle, erfahrungsgesteuerte Modifikation von Assoziationen wider, wie sie in klassischen Konditionierungstheorien (z. B. dem Rescorla-Wagner-Modell) postuliert wird.
3. Die Rolle der Architektur: Die Arbeit klärt, dass während der Lernmechanismus assoziationistisch ist, der Erfolg dieser Systeme von hochkomplexen computationalen Architekturen (z. B. Transformer, Convolutional Networks, Diffusionsprozesse) abhängt, die weit über das hinausgehen, was die klassischen Assoziationisten sich vorgestellt hatten. Überwachtes Lernen fungiert als eine Komponente innerhalb dieser größeren Strukturen, nicht als vollständige Erklärung der Fähigkeiten des Systems.

Ergebnisse
Die Analyse zeigt, dass der Ansatz der „statistischen Modellierung“, der einst als unfähig zur Handhabung hoher kognitiver Funktionen verspottet wurde, tatsächlich der Motor von Systemen ist, die zu übermenschlichem Spielverhalten, komplexer Argumentation und neuartiger Bildgenerierung fähig sind. Die Arbeit stellt fest:

• Die Reformulierung von Problemen in Aufgaben des überwachten Lernens ist ein nicht trivialer konzeptioneller Sprung gewesen, der es tiefen Netzwerken ermöglicht hat, Probleme zu lösen, für die zuvor symbolische Regelsysteme als notwendig erachtet wurden.
• Die biologische Plausibilität dieses Modells wird durch Belege gestärkt, dass biologische Systeme (z. B. dopaminerge Signalwege in Säugetieren) Vorhersagefehler in einer Weise verfolgen, die dem Temporal Difference Learning parallel verläuft, was darauf hindeutet, dass die Natur Lernprobleme möglicherweise ebenfalls als untergeordnete Aufgaben des überwachten Lernens darstellt.
• Die Einwände bezüglich „Ein-Schuss-Lernen“ und „strukturiertem Denken“ gegenüber dem Konnektionismus werden signifikant abgeschwächt; dieselben Mechanismen, die niedrigschwellige Muster lernen, zeigen bei Skalierung und architektonischer Beschränkung hochgradig kognitive Leistungen.

Bedeutung und Ansprüche
Die Arbeit beansprucht eine „bescheidene“ Rechtfertigung des Assozioniismus. Sie argumentt, dass der Kernmechanismus des Lernens in der modernen KI fundamental assoziationistisch ist: ein uniformer, gradueller, fehlergesteuerter Prozess der Anpassung von Verbindungen basierend auf Feedback. Dies widerlegt das langjährige Argument, dass assoziationistische Mechanismen inhärent zu schwach seien, um menschliche kognitive Kapazitäten zu erklären.

Der Autor begrenzt den Umfang dieser Rechtfertigung jedoch explizit:

• Keine vollständige Erklärung: Die Arbeit behauptet nicht, dass der Assoziationismus das gesamte menschliche Lernen erklärt. Die computationalen Architekturen, die erforderlich sind, um überwachtes Lernen effektiv zu machen (z. B. spezifische induktive Biases in CNNs oder Transformern), sind essenziell und von der Lernregel selbst zu unterscheiden.
• Unterscheidung vom Empirismus: Die Arbeit unterscheidet zwischen assoziationistischen Mechanismen und starken empirischen Ansprüchen über den Ursprung von Wissen. Während der Lernmechanismus domänen-generisch sein mag, erkennt die Arbeit an, dass biologische Lernende wahrscheinlich domänenspezifische induktive Biases (z. B. in Zahlenverständnis oder räumlichem Denken) besitzen, die mit dem Lernmechanismus kompatibel sind, aber nicht allein durch ihn erklärt werden können.
• Inferenz vs. Lernen: Die Arbeit stellt fest, dass das flexible, reasoning-ähnliche Verhalten, das in der KI während der Inferenz beobachtet wird, das Ergebnis des assoziationistischen Trainings ist und nicht notwendigerweise ein laufender assoziationistischer Prozess während des Denkens widerspiegelt.

Letztlich legt die Arbeit nahe, dass, sofern KI-Systeme nützliche Modelle für das menschliche Lernen sind, sie auf eine biologische Realität hindeuten, in der eine allgemeine, fehlergesteuerte assoziationistische Engine innerhalb komplexer, domänenspezifischer architektonischer Beschränkungen operiert.