🤖 machine learning

Bound to Disagree: Generalization Bounds via Certifiable Surrogates

Dieses Paper führt ein neuartiges Framework zur Ableitung nicht-leerer Generalisierungsschranken für Deep-Learning-Modelle ein, indem es zertifizierbare Disagreement-Surrogate nutzt, die mittels Sample Compression, Model Compression oder PAC-Bayes-Theorie trainiert wurden, wobei das Zielmodell oder dessen Trainingsverfahren unmodifiziert bleibt.

Ursprüngliche Autoren: Mathieu Bazinet, Valentina Zantedeschi, Pascal Germain

Veröffentlicht 2026-07-09

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mathieu Bazinet, Valentina Zantedeschi, Pascal Germain

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten ein superintelligentes, riesiges Robotergehirn (ein tiefes neuronales Netz) gebaut, um ein Rätsel zu lösen. Es ist fantastisch bei diesem Rätsel, aber niemand weiß genau, wie gut es bei einem brandneuen Rätsel abschneiden wird, das es noch nie gesehen hat. Tatsächlich ist der Großteil der Mathematik, die wir normalerweise verwenden, um seine zukünftige Leistung zu erraten, entweder völlig nutzlos (wie zu sagen: „Es könnte zu 100 % richtig oder zu 0 % richtig sein“) oder erfordert eine Änderung des Robotergehirns, um zur Mathematik zu passen, was den Roboter ruinieren würde.

Dieses Paper mit dem Titel „Bound to Disagree“ bietet einen cleveren neuen Weg, um die zukünftige Leistung dieses Roboters zu überprüfen, ohne sein Gehirn anzupassen oder nutzlose Mathematik zu verwenden.

Die große Idee: Der „Surrogat“ und die „Uneinigkeit“

Stellen Sie sich Ihr riesiges Robotergehirn als Zielmodell (Target Model) vor. Es ist komplex, leistungsstark und schwer zu messen. Die Autoren sagen: „Lasst uns ein winziges, einfaches Robotergehirn namens Surrogat-Modell (Surrogate Model) bauen.“

Dieses Surrogat ist klein genug, dass wir leicht beweisen können, wie gut es beim Lösen von Rätseln ist. Aber hier ist der Haken: Das Surrogat muss fast exakt wie der riesige Roboter agieren.

Das Geheimnis der Autoren ist die Messung der Uneinigkeit (Disagreement). Sie nehmen einen kleinen Stapel unbeschrifteter Bilder (Daten, die der Roboter noch nicht gesehen hat) und fragen sowohl den riesigen Roboter als auch den winzigen Roboter nach der Antwort.

Wenn sie sich bei fast allem einig sind, ist die bewährte Erfolgsbilanz des winzigen Roboters eine großartige Schätzung für die zukünftige Leistung des riesigen Roboters.
Wenn sie sich viel uneinig sind, könnte der riesige Roboter in Schwierigkeiten geraten.

Die Autoren beweisen, dass die Lücke zwischen der wahren Leistung des riesigen Roboters und der bewiesenen Leistung des winzigen Roboters direkt mit der Häufigkeit verknüpft ist, mit der sie bei diesen unbeschrifteten Bildern uneinig sind.

Was sie ausgeschlossen haben (Die „Don't Bother“-Liste)

Die Autoren sind sehr deutlich darüber, was für dieses spezifische Ziel nicht funktioniert, und sie wollen nicht, dass Sie Ihre Zeit mit diesen Methoden verschwenden:

Versuchen Sie nicht, den riesigen Roboter zu verändern: Sie müssen das Zielmodell nicht neu trainieren oder seine Architektur anpassen. Die Methode funktioniert auf dem Modell genau so, wie es trainiert wurde.
Verlassen Sie sich nicht auf „Norm-basierte“ Schranken: Dies sind altmodische mathematische Tricks, die sich die Größe der Gewichte des Roboters ansehen. Das Paper zeigt, dass diese meist „vacuous“ (bedeutungslos) sind (was bedeutet, dass sie Antworten liefern, die so breit gefasst sind, dass sie nutzlos sind, wie zum Beispiel zu sagen: „Der Fehler liegt zwischen 0 und einer Milliarde Prozent“).
Verlassen Sie sich nicht auf „Partition-basierte“ Schranken: Diese versuchen, die Daten in Stücke zu schneiden. Die Autoren fanden heraus, dass diese oft trivial sind und die Leistung so schätzen, als ob der Roboter nur zufällig raten würde (etwa 90 % Fehler bei einigen Aufgaben).
Verlangen Sie keine beschrifteten Daten für die Überprüfung: Im Gegensatz zu vielen anderen Methoden, die einen riesigen Stapel an beschrifteten Daten benötigen (wo Menschen bereits die Antworten aufgeschrieben haben, um das Modell zu prüfen), benötigt diese Methode nur einen kleinen Stapel an unbeschrifteten Daten (Bilder ohne Antworten). Dies ist viel kostengünstiger und schneller zu beschaffen.

Wie sie es getestet haben (Die „Labor“-Ergebnisse)

Die Autoren haben dies nicht nur erdacht; sie haben es gebaut und an realen Rätseln getestet. Sie nutzten drei verschiedene Wege, um ihre „winzigen Roboter“-Surrogate zu bauen:

Sample Compression (Stichprobenkompression): Auswahl einer winzigen, perfekten Teilmenge der Trainingsdaten, die das Ganze repräsentiert.
Model Compression (Modellkompression): Das Modell eng einzupacken (wie das Verwandeln eines hochauflösenden Fotos in ein winziges Vorschaubild), ohne zu viel Qualität zu verlieren.
PAC-Bayes: Verwendung eines statistischen Frameworks, das das Modell als eine Verteilung von Möglichkeiten statt als ein einzelnes festes Gehirn behandelt.

Sie testeten dies auf:

MNIST: Erkennung handgeschriebener Ziffern.
CIFAR10: Identifizierung von Objekten wie Flugzeugen und Katzen in kleinen Bildern.
Amazon Polarity: Lesen von Filmrezensionen, um zu entscheiden, ob sie positiv oder negativ sind (unter Verwendung großer Sprachmodelle wie DistilBERT und GPT2).

Die Ergebnisse:
In diesen Experimenten waren ihre neuen „Uneinigkeits“-Schranken eng gefasst (tight) und berechenbar.

Für die MNIST handgeschriebenen Ziffern fand ihre Methode eine Generalisierungsschranke (eine Sicherheitsgrenze für den Fehler) von etwa 3,45 % mittels Modellkompression, während die alten „normbasierten“ Methoden Zahlen lieferten, die so riesig waren, dass sie bedeutungslos waren (wie $3,14 \times 10^8$ Prozent).
Für CIFAR10 erhielten sie eine Schranke von 35,06 % mit Modellkompression, während die alten Methoden entweder nutzlos waren oder die Leistung so schätzten, als ob das Modell nur zufällig raten würde (etwa 90 % Fehler).
Sie zeigten sogar, dass, wenn man ein Modell auf 4 Bit schrumpft (es winzig und schnell macht), die Uneinigkeitsschranke garantiert, dass das geschrumpfte Modell fast so gut wie das große Modell funktioniert, mit einer Uneinigkeitslücke von nur etwa 2 %.

Wie sicher sind wir?

Das Paper liefert mathematische Beweise (Theoreme), die zeigen, dass diese Schranken mit hoher Wahrscheinlichkeit gelten (speziell mit einer Konfidenz von 99 %, oder $1-\delta = 0,99$ ).

Die Kernidee – dass die Fehlerschranke durch die Uneinigkeit begrenzt ist – ist mathematisch für den Zero-One-Loss (einfache Richtig/Falsch-Antworten) und Lipschitz-Loss (glatte, kontinuierliche Fehler) bewiesen.
Die spezifischen Zahlen (wie die 3,45 % oder 35,06 % Schranken) sind gemessene Ergebnisse aus ihren Experimenten auf spezifischen Datensätzen. Es handelt sich nicht um Simulationen, sondern um tatsächliche Berechnungen an trainierten Modellen.
Die Autoren geben eine Einschränkung zu: Die Qualität der endgültigen Schranke hängt vollständig davon ab, wie gut das „winzige Roboter“-Surrogat ist. Wenn man kein gutes Surrogat findet, das mit dem riesigen Roboter übereinstimmt, wird die Schranke nicht sehr eng sein.

Das Fazit

Dieses Paper schlägt einen neuen, praktischen Weg vor, Ihrem KI-System zu vertrauen. Anstatt zu versuchen, ein komplexes Modell in eine Box zu pressen, die nicht passt, oder eine Mathematik zu verwenden, die nutzlose Antworten liefert, können Sie ein kleines, zertifizierbares Zwillingsobjekt bauen, prüfen, wie oft sie sich bei einigen unbeschrifteten Beispielen uneinig sind, und dies nutzen, um zu garantieren, wie gut das große Modell in der realen Welt abschneiden wird. Es ist ein „zertifizierbarer“ Weg zu wissen, dass Ihr Roboter Sie nicht im Stich lässt, ohne ihn neu bauen zu müssen.

Technisches Resümee: Bound to Disagree: Generalization Bounds via Certifiable Surrogates

Problemstellung

Deep-Learning-Modelle, insbesondere überparametrisierte neuronale Netze, zeigen einen empirischen Erfolg, der im Widerspruch zur klassischen statistischen Lerntheorie steht, welche oft Overfitting vorhersagt. Trotz umfangreicher Forschung zu Generalisierungs-Schranken (Generalization Bounds) basierend auf der VC-Dimension, der Rademacher-Komplexität, der Informationstheorie und der PAC-Bayes-Theorie leiden bestehende Schranken für tiefe neuronale Netze unter drei primären Einschränkungen:

Vakuosität: Viele Schranken liefern Werte größer als 1 (oder triviale obere Schranken), wenn sie auf mittelgroße bis große Netzwerke angewendet werden.
Nicht-Berechenbarkeit: Einige Schranken beruhen auf universellen Konstanten, die nicht berechenbar sind oder intraktable Annahmen über den Eingaberaum erfordern.
Restriktivität: Viele gültige Schranken beziehen sich nur auf modifizierte Versionen des Modells (z. B. geprunte oder quantisierte Modelle) anstatt auf den ursprünglichen Prädiktor, oder sie erfordern spezifische architektonische Einschränkungen (z. B. Gated Activations).

Das Paper adressiert das Bedürfnis nach Generalisierungs-Schranken, die berechenbar, nicht-vakuos und anwendbar auf jeden Prädiktor sind, ohne das Zielmodell oder dessen Trainingsverfahren zu modifizieren.

Methodik

Die Autoren schlagen ein Framework vor, das die Zertifizierung eines komplexen Zielmodells von der Ableitung der Schranke selbst entkoppelt. Die Kernstrategie umfasst:

Surrogat-Modellierung: Das Training eines einfacheren „Surrogat“-Modells, das über enge, berechenbare Generalisierungsgarantien verfügt. Dieses Surrogat ist darauf ausgelegt, das Verhalten des Zielmodells nachzuahmen.
Disagreement Bounding: Messung der Lücke zwischen dem wahren Risiko des Zielmodells ( $f$ ) und des Surrogat-Modells ( $h$ ) mittels einer „Disagreement“-Metrik, die auf einem kleinen, unbeschrifteten Datensatz ( $U$ ) evaluiert wird, der nicht während des Trainings verwendet wurde.
Risiko-Aggregation: Kombination der engen Generalisierungs-Schranke des Surrogats mit der Disagreement-Schranke, um das wahre Risiko des Zielmodells nach oben hin zu begrenzen.

Theoretische Beiträge

Das Paper formalisiert drei spezifische Disagreement-basierte Schranken in Abhängigkeit von der Verlustfunktion:

Zero-One Loss (Theorem 5): Für den Zero-One Loss wird das Disagreement als die empirische Häufigkeit abweichender Vorhersagen zwischen $f$ und $h$ auf dem unbeschrifteten Satz definiert. Die Schranke nutzt die Binomial-Tail-Inversion (Langford, 2005), um die wahre Risiko-Lücke nach oben zu begrenzen.
$R_D(f) \leq R_D(h) + \text{Bin}(m \cdot d_U^{0-1}(f, h), m, \delta)$
Lipschitz-stetige Verluste (Theorem 6): Für Verluste wie den Huber- oder Logistic-Loss (die Lipschitz-stetig bezüglich der Softmax-Ausgabe sind), wird das Disagreement über die $L_1$ -Distanz zwischen den Softmax-Verteilungen der beiden Modelle gemessen. Diese Schranke verwendet die Chernoff-Schranke für Variablen im Einheitsintervall.
$L_D(f) \leq \mathbb{E}_{h \sim Q}[L_D(h)] + 2K_\ell \cdot kl^{-1}\left(\frac{\mathbb{E}_{h \sim Q}[d_U^{K_\ell}(f, h)]}{2}, \frac{\log(1/\delta)}{m}\right)$
Nicht-Lipschitz-Verluste (Theorem 7): Für Verluste wie Cross-Entropy (die ohne Einschränkungen möglicherweise nicht Lipschitz-stetig sind), schlagen die Autoren die Verwendung eines kleinen beschrifteten Held-out-Datensatzes vor, um die absolute Differenz der Verlustwerte zwischen den Modellen zu messen.
$L_D(f) \leq \mathbb{E}_{h \sim Q}[L_D(h)] + \lambda_\ell \cdot kl^{-1}\left(\frac{\mathbb{E}_{h \sim Q}[d_L(f, h)]}{\lambda_\ell}, \frac{\log(1/\delta)}{m}\right)$

Integration des Frameworks

Die Methodik ist agnostisch gegenüber dem spezifischen Framework, das zur Zertifizierung des Surrogats verwendet wird. Die Autoren demonstrieren die Vielseitigkeit durch die Integration ihrer Disagreement-Schranken mit drei unterschiedlichen theoretischen Frameworks:

Sample Compression: Verwendung von Algorithmen wie Pick-To-Learn oder Coreset-Selektion (z. B. Random Coreset, k-Center Greedy), um ein Surrogat basierend auf einer Teilmenge der Trainingsdaten zu definieren.
Model Compression: Nutzung von Techniken wie SubLoRA (Subspace Low-Rank Adaptation) und Quantisierung, um die Beschreibungslänge des Surrogats zu reduzieren.
PAC-Bayes-Theorie: Training stochastischer neuronaler Netze, bei denen das Surrogat eine Verteilung über Hypothesen ist, die über die KL-Divergenz von einem Prior begrenzt wird.

Kernergebnisse

Die Autoren evaluierten ihr Framework empirisch auf MNIST, CIFAR10 und dem Amazon Polarity Datensatz (unter Verwendung von DistilBERT und GPT2).

Tightness (Engheit): Die vorgeschlagenen Disagreement-basierten Schranken sind signifikant enger als bestehende berechenbare Schranken. Beispielsweise waren auf CIFAR10 normbasierte Schranken vakuos (Werte $> 10^{21}$ ), und partitionbasierte Schranken waren trivial (ca. 90 % Fehler). Im Gegensatz dazu erreichten die neuen Schranken nicht-vakuose Ergebnisse (z. B. 28,13 % für PAC-Bayes-Surrogate auf CIFAR10).
Vielseitigkeit: Der Ansatz zertifizierte Zielmodelle über verschiedene Architekturen hinweg erfolgreich (CNNs, ResNets, Transformer) und über verschiedene Verlustfunktionen (zero-one, cross-entropy, Huber).
Surrogat-Auswahl: Die Experimente zeigten, dass der Random Coreset-Ansatz oft die engsten Schranken für die Sample Compression lieferte, während SubLoRA effektiv für die Model Compression war. Interessanterweise führte das Minimieren des Disagreement auf dem unbeschrifteten Datensatz nicht immer zur engsten finalen Schranke; in einigen Fällen performten Surrogate mit den engsten intrinsischen Generalisierungs-Schranken (selbst bei höherem Disagreement) besser.
Anwendungsfälle:
- Zertifizierung: Bereitstellung nicht-vakuoser Schranken für Standard-deterministische Modelle.
- Distillation: Zertifizierung des Risikos eines destillierten Modells bei gleichzeitiger Minimierung des Disagreement.
- Quantisierung: Begrenzung der Performance-Lücke zwischen einem Zielmodell und seiner quantisierten Version, um sicherzustellen, dass Kompression nicht zu signifikanten Leistungseinbußen führt.

Bedeutung und Ansprüche

Das Paper beansprucht, ein vollständig berechenbares, nicht-vakuoes und annahmefreies Framework für Generalisierungs-Schranken bereitzustellen. Seine primäre Bedeutung liegt in:

Entkopplung der Komplexität: Es ermöglicht die Zertifizierung komplexer, beliebiger Modelle, indem die Last der theoretischen Garantien auf ein einfacheres, zertifizierbares Surrogat verlagert wird.
Minimale Datenanforderungen: Der Ansatz benötigt lediglich einen kleinen unbeschrifteten Datensatz (der billiger und leichter zu beschaffen ist als beschriftete Daten), um das Disagreement zu evaluieren, was ihn für großskalige Anwendungen praktikabel macht.
Keine Modifikation erforderlich: Im Gegensatz zu früheren Arbeiten, die Pruning, Quantisierung oder architektonische Änderungen am Zielmodell erfordern, um Schranken abzuleiten, kann diese Methode das Modell „as-is“ anwenden.
Breite Anwendbarkeit: Das Framework ist nicht auf spezifische Verlustfunktionen oder Modellklassen beschränkt und deckt zero-one, Lipschitz- und Nicht-Lipschitz-Verluste sowie deterministische und stochastische Prädiktoren ab.

Die Autoren räumen Einschränkungen ein und merken an, dass die Engheit der finalen Schranke inhärent von der Qualität der eigenen Generalisierungs-Garantie des Surrogats abhängt. Zudem bleibt die Suche nach einem Surrogat, das sowohl zertifizierbar als auch ausreichend nah an einem hochkomplexen Zielmodell ist, eine Herausforderung. Dennoch etabliert die Arbeit ein neues Paradigma, bei dem Generalisierungsgarantien über „Disagreement“ statt durch direkte Komplexitätsanalyse des Zielmodells erreicht werden.