💬 NLP

Cross-Entropy Is Load-Bearing: A Pre-Registered Scope Test of the K-Way Energy Probe on Bidirectional Predictive Coding

Diese präregistrierte Studie zeigt, dass die Kreuzentropie eine entscheidende, empirisch tragende Komponente für die Leistung des K-Way-Energie-Probes ist, da ihre Entfernung die Diskrepanz zum Softmax zwar verringert, aber nicht vollständig aufhebt, während bidirektionale Predictive Coding-Netzwerke trotz fehlender Kreuzentropie eine signifikant bessere Probe-Leistung erzielen.

Ursprüngliche Autoren: Jon-Paul Cacioli

Veröffentlicht 2026-04-24

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jon-Paul Cacioli

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Der unsichtbare Riese: Warum ein bestimmter Trainings-Algorithmus alles verändert

Stell dir vor, du hast einen sehr klugen Schüler (das neuronale Netzwerk), der lernen soll, Bilder von Hunden und Katzen zu erkennen. Um zu testen, wie gut dieser Schüler wirklich ist, haben die Forscher zwei verschiedene Methoden entwickelt, um sein „Selbstvertrauen" zu messen.

Der Klassiker (Softmax): Das ist wie ein Lehrer, der den Schüler direkt fragt: „Wie sicher bist du, dass das ein Hund ist?" Der Schüler gibt eine Prozentzahl ab.
Der Strukturt-Test (Energy Probe): Das ist wie ein Detektiv, der nicht den Schüler fragt, sondern die Spuren im Gehirn des Schülers untersucht. Er schaut sich an, wie stark die verschiedenen Gedankenpfade im Gehirn „leuchten", wenn der Schüler eine Entscheidung trifft.

Das alte Rätsel:
In einer früheren Studie (Cacioli 2026) stellte man fest, dass der Detektiv (Struktur-Test) immer schlechter abschneidet als der Lehrer (Softmax). Der Detektiv lag immer unter dem Lehrer. Die Forscher dachten: „Vielleicht ist der Detektiv einfach nicht gut genug oder die Architektur des Gehirns funktioniert nicht so, wie wir hoffen."

Die neue Entdeckung (Die aktuelle Studie):
Die Forscher dachten sich: „Moment mal. Vielleicht liegt es gar nicht am Detektiv, sondern daran, wie wir den Schüler trainiert haben."

Sie haben eine Art „Werkstatt-Experiment" gemacht, bei dem sie nur einen einzigen Baustein im Trainingsprozess ausgetauscht haben: Die Art, wie der Schüler für seine Fehler bestraft wird.

Die drei Szenarien im Experiment

Stell dir das Training wie das Üben für eine Prüfung vor:

Szenario A (Der Standard): Der Schüler wird mit dem klassischen „Cross-Entropy"-Verfahren trainiert.
- Der Vergleich: Das ist wie ein strenger Trainer, der dem Schüler sagt: „Wenn du falsch liegst, musst du nicht nur die richtige Antwort wissen, sondern du musst die falschen Antworten so sehr hassen, dass sie fast gar nicht mehr existieren."
- Das Ergebnis: Der Schüler wird extrem selbstbewusst. Seine Zahlen (Logits) werden riesig. Aber der Detektiv (Struktur-Test) sieht schlecht aus. Er liegt weit unter dem Lehrer.
Szenario B (Nur die Bestrafung ändern): Der Schüler wird genau gleich trainiert, aber ohne den strengen „Cross-Entropy"-Trainer. Stattdessen bekommt er eine sanftere Bestrafung (MSE).
- Der Vergleich: Der Trainer sagt jetzt: „Versuch einfach, die richtige Antwort zu treffen. Mach dir keine Sorgen, ob die falschen Antworten winzig sind."
- Das Ergebnis: Die Zahlen des Schülers werden viel kleiner (wie ein ruhigerer Schüler). Und plötzlich! Der Detektiv verbessert sich enorm. Er holt auf den Lehrer auf. Der Abstand zwischen ihnen halbiert sich.
Szenario C (Ganz neues Gehirn): Hier wurde das Gehirn des Schülers komplett umgebaut (bidirektionales Lernen), damit er auch von oben nach unten denken kann, nicht nur von unten nach oben.
- Das Ergebnis: Auch hier hat der Detektiv gewonnen! Er liegt sogar minimal über dem Lehrer.

Die große Überraschung: Der „Riesige Zahlen"-Effekt

Was haben Szenario A und B gemeinsam? Nur die Art der Bestrafung war anders. Aber was passierte mit den Zahlen?

Im Standard-Szenario (A) waren die Zahlen, die der Schüler ausspuckte, 15-mal größer als in den anderen Szenarien.
Stell dir vor, der Schüler schreit seine Antworten heraus (riesige Zahlen), während er im anderen Szenario nur flüstert.
Der „Lehrer" (Softmax) liebt das Schreien. Wenn die Zahlen riesig sind, rechnet der Lehrer die Wahrscheinlichkeiten so um, dass er extrem sicher wirkt. Das ist aber eine Täuschung! Es liegt nur an der Lautstärke der Zahlen, nicht daran, dass der Schüler wirklich besser ist.
Der Detektiv (Struktur-Test) ist taub für das Schreien. Er misst die echte Struktur. Wenn der Schüler also schreit, sieht der Detektiv im Vergleich zum schreienden Lehrer schlecht aus. Wenn der Schüler flüstert (Szenario B), kann der Detektiv endlich zeigen, was er kann.

Was die Forscher herausfanden (Die Aufteilung)

Die Forscher haben dann noch einen Trick angewendet: Sie haben die lauten Zahlen des Schreiers künstlich leiser gemacht (Temperatur-Skalierung), damit sie so leise sind wie im Flüstern-Szenario.

Das Ergebnis war aufschlussreich:

66% des Problems waren nur wegen der Lautstärke (der riesigen Zahlen). Wenn man die Zahlen leiser macht, schließt sich der Abstand zwischen Detektiv und Lehrer zu zwei Dritteln.
34% des Problems blieben übrig. Das bedeutet, dass der Lehrer (Softmax) bei dieser speziellen Trainingsart (Cross-Entropy) auch wirklich ein bisschen besser darin ist, die richtige Antwort zu finden, unabhängig von der Lautstärke. Aber der Detektiv ist nicht mehr so weit zurück.

Was ist mit dem „bidirektionalen Lernen"?

Die Forscher wollten ursprünglich testen, ob das „Hin-und-Her-Denken" (bidirektionales Lernen) der Grund für den Erfolg war. Aber das war ein Fehlschlag. Das Gehirn bewegte sich nicht viel mehr als das normale Gehirn. Der eigentliche Held war also nicht die neue Denkweise, sondern das Weglassen des strengen Cross-Entropy-Trainers.

Das Fazit für den Alltag

Die Studie sagt uns etwas Wichtiges über künstliche Intelligenz:

Wir haben oft gedacht, dass bestimmte Tests (wie der Detektiv) einfach nicht funktionieren, wenn wir KI-Modelle trainieren. Aber die Studie zeigt: Es liegt oft am Trainings-Verfahren, nicht am Test.

Wenn wir KI-Modelle mit dem klassischen, strengen Trainer (Cross-Entropy) trainieren, erzeugen wir riesige Zahlen, die unsere Messinstrumente (wie Softmax) verzerren. Das lässt andere, vielleicht bessere Methoden (wie den Struktur-Test) schlecht aussehen.

Die Moral der Geschichte:
Bevor wir sagen „Dieser Test funktioniert nicht", sollten wir prüfen, ob wir das Messgerät nicht durch die Art, wie wir das System trainiert haben, in die Irre geführt haben. Cross-Entropy ist wie ein Riese, der auf der Waage steht und alles andere klein erscheinen lässt. Wenn man den Riesen wegnimmt, sieht man, dass die anderen eigentlich ganz gut sind.

Kurz gesagt: Cross-Entropy ist der „Lastträger" (Load-Bearing), der die ganze Theorie aufrechterhält. Ohne ihn bricht die alte Annahme zusammen, und die Struktur-Tests kommen plötzlich sehr gut mit.

Titel

Cross-Entropy ist tragend: Ein prä-registriert durchgeführter Gültigkeitsbereichstest des K-Way-Energie-Propes auf bidirektionale prädiktive Kodierung

1. Problemstellung und Hintergrund

Der Artikel baut auf einer vorherigen Studie von Cacioli [2026] auf, die eine approximative Zerlegung des K-Way-Energie-Propes (eines strukturellen Metakognitions-Indikators) auf diskriminativen prädiktiven Kodierungsnetzwerken (Predictive Coding, PC) zeigte. Die ursprüngliche Zerlegung besagt, dass der Energie-Margin des Propes näherungsweise einer monotonen Funktion des Log-Softmax-Margins entspricht, wobei der Prop unter dem Softmax-Wert liegt.

Diese Zerlegung basiert auf fünf Annahmen, darunter:

(A1) Verwendung der Cross-Entropy (CE) am Ausgang.
(A3) Tatsächlich vorwärtsgerichtete Inferenzdynamik (feedforward).

Die vorliegende Studie untersucht die Sensitivität dieser Zerlegung gegenüber der Entfernung der Cross-Entropy. Das Hauptziel ist es zu klären, ob die schlechtere Leistung des Energie-Propes im Vergleich zum Softmax-Baseline in CE-getrainerten Netzen auf die Inferenzdynamik (bidirektional vs. feedforward) oder auf die Energieformulierung (CE vs. MSE) zurückzuführen ist.

2. Methodik

Experimentelles Design:
Die Studie ist als prä-registrierter Scope-Test auf dem Open Science Framework (OSF) angelegt und verwendet drei Bedingungen auf einem identischen Backbone-Architektur (TinyConv, ~2,1 Mio. Parameter) auf dem CIFAR-10-Datensatz (10 Seeds):

Bedingung A (stdPC-CE): Standard diskriminatives PC mit Cross-Entropy am Ausgang (Baseline, repliziert Cacioli [2026]).
Bedingung B (stdPC-MSE): Standard diskriminatives PC, bei dem CE durch MSE (Mean Squared Error) ersetzt wird. Dies isoliert den Effekt von Annahme A1 (Energieformulierung), während die Dynamik (A3) erhalten bleibt.
Bedingung C (bPC): Bidirektionales PC (nach Oliviers et al. 2025) mit bidirektionaler MSE-Energie und ohne CE. Dies verletzt A1 und A3 gleichzeitig.

Messgrößen:

K-Way-Energie-Prop: Klemmt jede der 10 Klassen am Ausgang, führt Inferenz durch und misst den Gesamtenergie-Margin.
Softmax-Baseline: Nutzt die Feedforward-Logits ohne Inferenzschleife.
Primärer Outcome: $\Delta = \text{AUROC2}_{\text{Probe}} - \text{AUROC2}_{\text{Softmax}}$ $Δ = AUROC2_{Probe} - AUROC2_{Softmax}$ .
- AUROC2 misst die Fähigkeit des Konfidenzsignals, korrekte von falschen Vorhersagen zu unterscheiden (Typ-2-Diskrimination).

Hypothesen:

H3 (Manipulationscheck): bPC sollte eine mindestens 10-fach höhere latente Bewegung als stdPC zeigen (Test der Dynamik).
H2 (Replikation): $\Delta_{\text{stdPC}} < 0$ (Der Prop liegt unter Softmax).
H1 (Haupttest): $\Delta_{\text{bPC}} - \Delta_{\text{stdPC}} > 0$ (Der Prop schneidet bei bPC besser ab als bei stdPC).

3. Wichtige Ergebnisse

1. Replikation des negativen Ergebnisses (H2 bestätigt):
Auf standard PC mit CE liegt der Energie-Prop signifikant unter dem Softmax ( $\Delta = -0,082$ , $p < 10^{-6}$ ). Dies bestätigt die vorherige Studie.

2. Der Prop übertrifft Softmax bei bPC (H1 bestätigt, aber mit Einschränkung):
Auf bidirektionalem PC (bPC) liegt der Prop leicht über dem Softmax ( $\Delta = +0,008$ , $p = 0,000027$ ).

Einschränkung: Der Manipulationscheck (H3) scheiterte. Die latente Bewegung bei bPC war nur ca. 1,6-mal so hoch wie bei stdPC (Schwellenwert war 10-fach). Die generative Kette trug weniger als 1% zur Gesamtenergie bei.
Schlussfolgerung: Die Verbesserung ist nicht auf die bidirektionale Dynamik zurückzuführen, sondern auf die Entfernung der Cross-Entropy, da bPC und die MSE-Bedingung beide keine CE verwenden.

3. Die Rolle der Cross-Entropy (H4 explorativ bestätigt):
Beim Ersatz von CE durch MSE (Bedingung B) halbiert sich die Lücke zwischen Prop und Softmax ( $\Delta$ verbessert sich von -0,082 auf -0,037).

CE ist ein empirisch tragender (load-bearing) Bestandteil der Zerlegung.
CE-Training erzeugt Logit-Normen, die ca. 15-mal größer sind als bei MSE oder bPC (11,5 vs. 0,78).

4. Temperatur-Skalierung und Zerlegung der Lücke (Post-hoc Analyse):
Eine nachträgliche Temperatur-Skalierung (Temperature Scaling) auf den CE-Modellen zeigte, dass die Logit-Skala einen großen Teil der Diskrepanz erklärt:

~66% der Lücke sind auf den Logit-Skaleneffekt zurückzuführen (CE-inflated Logits verzerren die Softmax-Verteilung zugunsten des Softmax-Baselines). Durch Temperaturanpassung kann dieser Teil eliminiert werden.
~34% der Lücke bleiben bestehen und repräsentieren einen skaleninvarianten Ranking-Vorteil der CE-getrainerten Darstellungen. CE als "proper scoring rule" optimiert die Log-Wahrscheinlichkeit direkt und erzeugt eine bessere Korrelation zwischen Konfidenz und Richtigkeit, unabhängig von der Skalierung.

4. Schlüsselbeiträge

Identifikation der CE als kritischer Faktor: Die Studie zeigt, dass die schlechtere Leistung des Energie-Propes im Vergleich zu Softmax primär durch die Cross-Entropy am Ausgang verursacht wird, nicht durch die Inferenzdynamik.
Entkopplung von Dynamik und Energieformulierung: Da der Manipulationscheck für die Dynamik scheiterte, wird klar, dass die Verbesserung bei bPC ein Artefakt der CE-Entfernung ist und nicht der bidirektionalen Architektur.
Mechanistische Erklärung der Logit-Skala: Es wird gezeigt, dass CE-Training zu übermäßig großen Logit-Normen führt, was die Softmax-Baseline künstlich aufbläht. Ein fairerer Vergleich erfordert oft eine temperaturangepasste Softmax-Baseline.
Zerlegung des Gap: Die Lücke zwischen strukturellen Propen und Softmax wird in einen skalierbaren Teil (66%) und einen strukturellen Ranking-Vorteil (34%) zerlegt.

5. Bedeutung und Fazit

Die Studie widerlegt die Annahme, dass strukturelle Energie-Propen grundsätzlich unterlegen seien. Vielmehr ist das Ergebnis von Cacioli [2026] spezifisch auf CE-getrainerte, diskriminative PC-Netze beschränkt.

Für die Metakognition: Die Art und Weise, wie ein Netzwerk trainiert wird, um Konfidenz auszudrücken (CE vs. MSE), ist mindestens so wichtig wie die architektonische Struktur.
Für die Evaluierung: Beim Vergleich von Konfidenzsignalen auf CE-getrainerten Netzen sollte temperaturangepasster Softmax als fairere Baseline verwendet werden als roher Softmax, da dieser durch die Logit-Inflation von CE verzerrt wird.
Für Predictive Coding: Die negativen Ergebnisse für strukturelle Propen gelten nicht als allgemeines Limit, sondern als spezifisches Phänomen unter CE-Verlustbedingungen.

Zusammenfassend ist Cross-Entropy der "tragende" (load-bearing) Baustein, der die Zerlegung in der untersuchten Skala dominiert. Ohne CE kann der K-Way-Energie-Prop das Softmax-Niveau erreichen oder sogar leicht übertreffen.