🤖 machine learning

Perturb and Correct: Post-Hoc Ensembles using Affine Redundancy

Dieser Beitrag stellt Perturb-and-Correct (P&C) vor, eine nachträgliche Methode, die aus einem einzigen vortrainierten Netzwerk epistemisch diverse Prädiktoren erzeugt, indem zufällige Störungen der versteckten Schichten mit Kleinste-Quadrate-Korrekturen kombiniert werden, wodurch starke Kompromisse zwischen In-Distribution- und Out-of-Distribution-Leistung ohne die Notwendigkeit mehrerer Modelle erreicht werden.

Ursprüngliche Autoren: Eleanor Quint

Veröffentlicht 2026-05-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Eleanor Quint

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „perfekte" Schüler, der den unerwarteten Test nicht besteht

Stellen Sie sich vor, Sie haben einen brillanten Schüler (ein neuronales Netz) trainiert, um Matheaufgaben zu lösen. Sie geben ihm Tausende von Übungsaufgaben (die Trainingsdaten), und er erzielt eine perfekte Punktzahl. Er ist so gut, dass er jede weitere Aufgabe aus demselben Lehrbuch jedes Mal richtig löst.

Aber hier liegt der Haken: Viele verschiedene Schüler hätten dieselbe perfekte Punktzahl erzielen können.

In der Welt des Deep Learning nennt man dies Underspezifikation. Ihre Trainingsdaten haben das Modell nicht gezwungen, eine spezifische Denkweise zu lernen; sie haben es lediglich gezwungen, die richtige Antwort zu finden. Das Modell hat also einen Weg zur Antwort gefunden, aber es gäbe Tausende anderer Wege, die auf dem Übungstest exakt gleich gut ausgesehen hätten.

Das Problem entsteht, wenn der Schüler einer Verteilungsverschiebung (distribution shift) ausgesetzt wird – einem realen Test, bei dem die Fragen leicht anders aussehen (z. B. ein autonomes Fahrzeug, das einen Schneesturm statt eines sonnigen Tages sieht, oder eine medizinische KI, die eine seltene Krankheit erkennt). Da das Modell während des Trainings nie hatte wählen müssen, welchen Weg es einschlagen soll, könnte es einen Weg wählen, der für den sonnigen Tag funktioniert, aber im Schnee zu einem Unfall führt. Wir wissen nicht, welchen Weg es gewählt hat, also wissen wir nicht, ob es sicher ist.

Die Lösung: Perturb-and-Correct (P&C)

Die Autoren stellen einen cleveren Trick namens Perturb-and-Correct (P&C) vor. Sie müssen den Schüler nicht neu trainieren oder ihm Neues beibringen. Sie nehmen einfach das fertige Modell und schütteln es auf sehr spezifische Weise, um ein „Team" leicht unterschiedlicher Versionen desselben Schülers zu schaffen.

So funktioniert der Prozess Schritt für Schritt:

1. Das „Perturb" (Der Schüttel)

Stellen Sie sich vor, das Gehirn des Schülers hat eine bestimmte Schicht von Neuronen (eine versteckte Schicht), in der er schwer nachdenkt. Die Forscher nehmen diese Schicht und stoßen die Verbindungen darin zufällig an.

Analogie: Es ist, als würde man den Schüler bitten, die Matheaufgabe zu lösen, während er leicht unterschiedliche Brillen trägt, die seine Sicht nur winzig verzerren.
Ergebnis: Wenn Sie das nur tun würden, würde der Schüler sogar bei den Übungsaufgaben falsche Antworten geben. Der „Anstoß" hat seine perfekte Punktzahl zerstört.

2. Das „Correct" (Die Korrektur)

Dies ist der magische Teil. Die Forscher schauen sich die nächste Schicht des Gehirns (die affine Schicht) an und stimmen sie neu ab mittels einer einfachen mathematischen Korrektur (Least-Squares-Korrektur) basierend auf den alten Übungsaufgaben.

Analogie: Der Schüler setzt die verzerrten Brillen auf, wird verwirrt und beginnt, falsch zu antworten. Aber dann passt ein Lehrer (der Korrekturschritt) schnell den Stift des Schülers (die nächste Schicht) an, um die Brillen auszugleichen.
Ergebnis: Wenn der Schüler die alten Übungsaufgaben betrachtet, heben sich die Brillen und die Stiftanpassung perfekt gegenseitig auf. Der Schüler erzielt exakt dieselbe perfekte Punktzahl wie zuvor.

3. Das „Ensemble" (Das Team)

Die Forscher wiederholen diesen Vorgang viele Male. Jedes Mal verwenden sie einen anderen zufälligen Anstoß (andere Brillen) und eine andere Stiftanpassung.

Das Ergebnis: Sie haben nun 50 oder 100 Versionen desselben Schülers.
- Bei den alten Übungsaufgaben stimmen sie alle perfekt überein.
- Bei neuen, seltsamen Aufgaben (der Verteilungsverschiebung) heben sich die „Brillen" und „Stift"-Anpassungen nicht mehr perfekt auf. Die Schüler beginnen, miteinander zu disagreeieren.

Warum das wichtig ist: Das „Disagreement"-Signal

In der Vergangenheit, wenn ein einzelnes Modell unsicher war, mussten wir einen ganzen neuen Satz von Modellen von Grund auf neu trainieren, um zu sehen, ob sie übereinstimmen oder nicht. Das kostet viel Zeit und Rechenleistung.

Mit P&C passiert die Meinungsverschiedenheit automatisch:

Wenn die Eingabe normal ist: Die „Brillen" und die „Stift"-Korrektur arbeiten zusammen. Alle Versionen des Modells stimmen überein. Wir sind zuversichtlich.
Wenn die Eingabe seltsam ist (Out-of-Distribution): Die „Brillen" und die „Stift"-Korrektur passen nicht mehr zur neuen Situation. Die Modelle beginnen, unterschiedliche Antworten zu geben.
Das Signal: Die Tatsache, dass sie nicht übereinstimmen, sagt uns: „Hey, wir befinden uns in unbekanntem Terrain! Seien Sie vorsichtig!"

Die „Hebel"-Analogie

Das Paper verwendet ein geometrisches Konzept namens „Hebelwirkung" (leverage), um zu erklären, warum dies funktioniert.

Stellen Sie sich vor, die Übungsaufgaben sind eine Gruppe von Menschen, die um ein Lagerfeuer sitzen.
Wenn Sie jemandem eine Frage stellen, der direkt neben dem Feuer sitzt (in-distribution), kann die „Stiftanpassung" die „Brillenverzerrung" leicht korrigieren, weil er nahe am Zentrum ist. Alle stimmen überein.
Wenn Sie jemandem eine Frage stellen, der weit weg in der Dunkelheit steht (out-of-distribution), kann die „Stiftanpassung" (die für das Feuer kalibriert wurde) ihn nicht erreichen. Die „Brillenverzerrung" übernimmt, und die Modelle beginnen, Dinge unterschiedlich zu sehen.

Zusammenfassung der Ergebnisse

Die Autoren haben dies an zwei Dingen getestet:

Roboterphysik (MuJoCo): Vorhersage der Bewegung eines Roboters. Wenn sich das Verhalten des Roboters änderte (Verschiebung), war P&C viel besser darin, zu erkennen, dass er sich in einer „seltsamen" Situation befand, verglichen mit anderen Methoden, ohne den Roboter neu trainieren zu müssen.
Bilderkennung (CIFAR-10): Erkennung von Bildern, die nicht dazugehören (z. B. ein Katzenbild einem Hunde-Klassifikator zeigen). P&C war sehr gut darin zu sagen: „Ich weiß nicht, was das ist", verglichen mit anderen Methoden, die nur ein einzelnes Modell verwenden.

Das Fazit

Das Paper argumentiert, dass wir die „Flexibilität" neuronaler Netze nicht beseitigen sollten (die Tatsache, dass viele Wege zum selben Ergebnis führen). Stattdessen sollten wir sie ausnutzen.

Indem wir ein einziges trainiertes Modell zufällig schütteln und es dann gerade genug korrigieren, um es bei bekannten Daten ehrlich zu halten, können wir kostenlos ein Team diverser Experten schaffen. Sie bleiben im Takt, wenn alles normal ist, aber sie brechen natürlich in einen Chor der Meinungsverschiedenheit aus, wenn die Dinge seltsam werden, und warnen uns vor potenzieller Gefahr.

Technische Zusammenfassung: Perturb-and-Correct (P&C)

Problemstellung

Moderne tiefe neuronale Netze sind massiv überparametrisiert, was zu einem Phänomen führt, das als Underspezifikation bekannt ist. Obwohl viele unterschiedliche Parameterkonfigurationen nahezu identische Leistungen auf In-Distribution (ID)-Trainingsdaten erzielen können, verhalten sich diese Modelle unter Verteilungsverschiebungen oder adversariellen Angriffen oft drastisch unterschiedlich. Dieser Mangel an Einschränkung bedeutet, dass Standard-Trainingspipelines das Modellverhalten außerhalb der Datenunterstützung nicht vollständig bestimmen, was eine kritische Lücke bei der zuverlässigen Bereitstellung schafft, insbesondere in Bezug auf epistemische Unsicherheit und Out-of-Distribution (OOD)-Detektion. Bestehende Methoden zur Schätzung dieser Unsicherheit erfordern häufig das Training mehrerer unabhängiger Modelle (Deep Ensembles), eine Modifikation des Trainingsverfahrens (MC Dropout) oder eine Approximation einer Posterior-Verteilung (SWAG, Laplace), was rechenintensiv oder strukturell einschränkend sein kann.

Methodik: Perturb-and-Correct (P&C)

Die Arbeit stellt Perturb-and-Correct (P&C) vor, eine nachträgliche Ensemble-Konstruktionsmethode, die epistemisch diverse Prädiktoren aus einem einzelnen vortrainierten Netzwerk ohne erneutes Training erzeugt. Die Methode nutzt die Underspezifikation tiefer Netze aus, indem sie absichtlich Parametervariationen einführt und deren Auswirkungen auf ID-Daten einschränkt.

Kernmechanismus

Perturbation: P&C wählt eine verborgene Schicht (oder eine Sequenz von Schichten) aus und führt zufällige, rangniedrige Parameterperturbationen durch. Konkret wird eine zufällige orthonormale Basis gesampelt und mit einer Perturbationsstärke $\sigma$ skaliert, um eine Perturbationsmatrix $\Delta W$ zu erzeugen.
Korrektur: Um zu verhindern, dass diese Perturbationen die Leistung auf ID-Daten verschlechtern, passt P&C eine kompensierende Korrektur in der unmittelbar folgenden affinen Schicht an. Dies wird mittels ridge-regularisierter kleinster Quadrate auf einer Kalibrierungsstichprobe der ID-Daten erreicht. Die Korrektur minimiert den Unterschied zwischen den ursprünglichen Voraktivierungen der nächsten Schicht und den perturbed Voraktivierungen.
Ensemble-Konstruktion: Dieser Prozess wird $M$ -mal mit unterschiedlichen zufälligen Perturbationen und optional unterschiedlichen Bootstrap-Stichproben der Kalibrierungsdaten wiederholt. Das resultierende Ensemble ist eine gleichmäßig gewichtete Mischung dieser korrigierten Prädiktoren.

Theoretische Grundlage

Die Arbeit analysiert den Mechanismus durch die Linse des post-korrektur Residuums und der korrigierten Sensitivität:

ID-Erhaltung: In der Nähe der Kalibrierungsverteilung unterdrückt die Kleinste-Quadrate-Korrektur die Auswirkungen der Perturbation effektiv. Das Residuum ist durch einen Hebelwert begrenzt, der klein ist, wenn der Eingabewert innerhalb der Kalibrierungsgeometrie liegt.
OOD-Divergenz: Wenn Eingaben von der Kalibrierungsunterstützung abweichen (Extrapolation), wächst der Hebelwert, und die Korrektur kann die Perturbation nicht mehr vollständig absorbieren. Folglich wächst die korrigierte Sensitivität (die Outputänderung pro Einheit verborgener Schichtperturbation), was es den Ensemble-Mitgliedern ermöglicht, bei OOD-Daten signifikant voneinander abzuweichen.
Zufälliges Abtasten: Die Autoren argumentieren, dass zufällige Perturbationen als eine unverzerrte Skizze des korrigierten Sensitivitätsoperators wirken. Da die Korrektur Effekte nur dort unterdrückt, wo die Daten das Verhalten einschränken, tastet das zufällige Sampling effektiv die „epistemischen Freiheitsgrade" ab, die durch die Trainingsdaten ungelöst bleiben.

Hauptbeiträge

Nachträgliche Ensemble-Konstruktion: Die Arbeit zeigt, dass nützliche epistemische Ensembles konstruiert werden können, ohne eine vollständige Posterior-Verteilung zu schätzen oder spezialisierte Perturbationsrichtungen auszuwählen. Zufällige niedrigdimensionale Perturbationen verborgener Schichten, gepaart mit einer lokalen affinen Korrektur auf Kalibrierungsdaten, reichen aus, um diverse Prädiktoren zu erzeugen.
Geometrische Analyse von Residuen: Die Autoren liefern eine theoretische Analyse, die zeigt, warum die Übereinstimmung in der Nähe der Kalibrierungsgeometrie bestehen bleibt, während bei Verschiebungen eine Abweichung entsteht. Sie formalisieren die Beziehung zwischen Residuum, Hebelwert und korrigierter Sensitivität und erklären, warum zufällige Perturbationen effektiv sind, um epistemische Unsicherheit zu untersuchen.
Empirische Validierung: Die Methode wird an zwei unterschiedlichen Aufgaben evaluiert:
- MuJoCo-Dynamikvorhersage: P&C erzielt einen starken Kompromiss zwischen ID-Wurzel des mittleren quadratischen Fehlers (RMSE) und weit-OOD negativem Log-Likelihood (NLL) und übertrifft oder entspricht Standard-Baselines (Deep Ensembles, SWAG, Laplace, Subspace), während nur ein einzelnes vortrainiertes Modell verwendet wird.
- CIFAR-10 OOD-Detektion: Unter Verwendung des OpenOOD-Protokolls erzielt P&C unter nachträglichen Methoden state-of-the-art-Ergebnisse, verbessert starke Einzelmodell-Baselines wie SWAG und nähert sich der Leistung von Deep Ensembles bei deutlich geringeren Rechenkosten an.

Ergebnisse

MuJoCo: Über 11 Umgebungen hinweg erzielte P&C den besten mittleren Rang für Far-OOD NLL (1,55), Far AUROC (1,27) und Far Spearman-Korrelation (1,64). Es behielt eine wettbewerbsfähige ID-RMSE (3,18) bei und übertraf Deep Ensembles bei OOD-Detektionsmetriken signifikant.
CIFAR-10: P&C erreichte die höchste Near-OOD AUROC (91,55) und Far-OOD AUROC (95,09) unter den berichteten Methoden und reduzierte gleichzeitig die False-Positive-Rate bei 95 % Recall (FPR95) im Vergleich zu SWAG und Deep Ensembles erheblich.
Mechanismus-Diagnostik: Experimente bestätigten, dass ohne die Kleinste-Quadrate-Korrektur zufällige Perturbationen die ID-Leistung verschlechtern. Mit Korrektur bleibt die ID-Leistung erhalten, und die Abweichung skaliert mit der Mahalanobis-Distanz von den Kalibrierungsaktivierungen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass P&C Underspezifikation nicht als eine zu eliminierende Pathologie, sondern als eine Quelle epistemischer Unsicherheit neu fasst, die ausgenutzt werden kann. Indem P&C die durch Kalibrierungsdaten ungelösten Freiheitsgrade als Ressource behandelt, bietet es eine rechnerisch effiziente Alternative zum Training mehrerer unabhängiger Modelle oder zur Durchführung komplexer Bayesscher Inferenz.

Die Autoren positionieren P&C philosophisch näher an Epistemischen Neuronen als an explizit Bayesschen Methoden, da es Unsicherheit durch eine Familie von Prädiktoren repräsentiert, die dort übereinstimmen, wo die Daten das Verhalten einschränken, und dort divergieren, wo dies nicht der Fall ist, ohne Änderungen an der Modellarchitektur oder der Trainingspipeline zu erfordern. Die Arbeit legt nahe, dass lokale affine Korrekturen einfache zufällige Perturbationen in effektive nachträgliche Ensembles verwandeln können, was das Potenzial der Überparametrisierung im Deep Learning unterstreicht.