📊 statistics

Is Supervised Learning Really That Different from Unsupervised?

Das Papier schlägt ein neuartiges zweistufiges Framework vor, das es verschiedenen Algorithmen des überwachten Lernens ermöglicht, eine mit ihren Standard-Pendants vergleichbare Leistung zu erzielen, indem Modellparameter vollständig durch unüberwachte Methoden ausgewählt werden, was darauf hindeutet, dass der grundlegende Unterschied zwischen überwachtem und unüberwachtem Lernen weniger signifikant sein könnte als bisher angenommen.

Ursprüngliche Autoren: Oskar Allerbo, Thomas B. Schön

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Oskar Allerbo, Thomas B. Schön

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, verschiedene Obstsorten zu erkennen. Normalerweise zeigen Sie dem Roboter tausende Bilder von Äpfeln, Bananen und Orangen und sagen ihm: „Das ist ein Apfel“, „Das ist eine Banane“. Das ist Überwachtes Lernen (Supervised Learning): Der Roboter lernt, indem er die Bilder (die Daten) und die Etiketten (die Antworten) betrachtet.

Dieses Paper stellt eine überraschende Frage: Was wäre, wenn wir dem Roboter beibringen würden, das Obst zu sortieren, ohne ihm jemals zu sagen, um welches Obst es sich tatsächlich handelt?

Die Autoren, Oskar Allerbo und Thomas B. Schön, argumentieren, dass überwachtes Lernen nicht so magisch oder abhängig von „Antworten“ ist, wie wir denken. Sie schlagen einen zweistufigen Prozess vor, der eine überwachte Aufgabe in eine unüberwachte verwandelt.

Die Zwei-Schritte-Methode „Erst sortieren, dann benennen“

Stellen Sie sich die Trainingsdaten wie eine große Kiste mit gemischten Lego-Steinen vor.

Schritt 1: Das unüberwachte Sortieren (Die „Form“-Phase)
Anstatt in die Bedienungsanleitung (die Etiketten) zu schauen, betrachtet der Roboter nur die Form, die Farbe und die Größe der Steine. Er nutzt einen unüberwachten Algorithmus, um sie zu gruppieren.

Er könnte sagen: „Alle roten, runden Steine kommen in diesen Haufen.“
„Alle blauen, langen Steine kommen in jenen Haufen.“
„Alle gelben, quadratischen Steine kommen in den anderen Haufen.“

Entscheidend ist, dass der Roboter in dieser Phase nicht weiß, dass der rote Haufen „Äpfel“ sind oder der blaue Haufen „Bananen“. Er hat lediglich gelernt, wie die Daten beschaffen sind. Er hat verstanden, wie die Datenpunkte zueinander in Beziehung stehen.

Schritt 2: Die Enthüllung der Etiketten (Die „Namens“-Phase)
Sobald der Roboter die Steine perfekt in vier verschiedene Haufen sortiert hat, enthüllen Sie die Etiketten.

Sie sagen: „Okay, der rote Haufen sind Äpfel.“
„Der blaue Haufen sind Bananen.“

Der Roboter weist dem roten Haufen einfach den Namen „Apfel“ und dem blauen Haufen den Namen „Banane“ zu. Er muss die Steine nicht neu sortieren oder die Art und Weise ändern, wie er sie gruppiert hat. Der „schlaue Teil“ (das Herausfinden der Gruppen) war bereits ohne die Etiketten erledigt.

Das Geheimrezept: Eine neue „Varianz“-Regel

Sie könnten fragen: „Wie weiß der Roboter in Schritt 1, wie er die Steine sortieren soll, wenn er seine Arbeit nicht gegen die Antworten überprüfen kann?“

Normalerweise verwendet man zur Überprüfung eines Sortierverfahrens eine Technik namens Kreuzvalidierung (Cross-Validation), bei der man einige Antworten verbirgt, eine Vermutung anstellt und sieht, ob man richtig lag. Aber das setzt voraus, dass man die Antworten (die Etiketten) bereits kennt.

Die Autoren haben eine neue Regel erfunden, die MSV (Matching Sample Variances) heißt.

Die Analogie: Stellen Sie sich vor, Sie versuchen, ein Radio einzustellen, um einen klaren Sender zu finden. Normalerweise hören Sie auf die Musik, um zu wissen, ob Sie richtig eingestellt sind. Aber hier sagen die Autoren: „Hören Sie nicht auf die Musik (die Etiketten). Hören Sie nur auf das Rauschen (das Rauschen/den Lärm).“
Sie fanden heraus, dass der Roboter die Daten dann gut sortiert, wenn die „Verteilung“ (der Spread) seiner Vermutungen mit der natürlichen „Verteilung“ der Daten selbst übereinstimmt.
Sie haben mathematisch bewiesen, dass man diese „Verteilung“ berechnen kann, ohne jemals die Etiketten anzusehen. Es ist, als würde man ein Radio abstimmen, indem man das Rauschen mit dem Hintergrundrauschen des Raumes abgleicht, anstatt auf ein Lied zu hören.

Was sie getestet haben

Sie haben diese Idee auf viele verschiedene Arten von „Robotern“ (Algorithmen) angewendet:

Lineare Regression: Vorhersage von Zahlen (wie Hauspreise).
Neuronale Netze: Die komplexen KI-Gehirne, die für die Bilderkennung verwendet werden.
Random Forests und K-Nearest Neighbors: Andere beliebte Sortierungsmethoden.

Sie trainierten diese Modelle mit realen Daten (wie der Vorhersage von CPU-Laufzeiten oder der Identifizierung von Supraleitern) und mit synthetischen Daten.

Das Ergebnis:
Die Modelle, die oh\ne die Etiketten gesehen hatten, schnitten fast genauso gut ab wie die Modelle, die mit den Etiketten trainiert wurden.

In einigen Fällen waren die „etikettenfreien“ Modelle fast genauso genau.
In anderen Fällen waren sie etwas besser oder etwas schlechter, aber sie waren niemals „reines Raten“ (es sei denn, sie verwendeten die falsche Abstimmungsregel, was die Autoren bewiesen haben).

Das wichtigste Fazit

Das Paper kommt zu dem Schluss, dass der Unterschied zwischen „Überwachtem Lernen“ (Lernen mit Antworten) und „Unüberwachtem Lernen“ (Lernen ohne Antworten) weniger fundamental ist, als wir dachten.

Der Kern der Idee:
Der schwierige Teil des Lernens ist nicht das Wissen um die Antwort, sondern das Verstehen der Struktur der Daten. Sobald man die Struktur (die „Form“ der Daten) verstanden hat, sind die Etiketten nur noch einfache Markierungen, die man ganz am Ende hinzufügen kann.

Was dieses Paper nicht sagt

Es sagt nicht, dass Sie in der Realität aufhören sollten, Etiketten zu verwenden. Die Autoren geben zu, dass ihre Methode rechenintensiv ist (sie benötigt viel Computerleistung) und dass die Verwendung von Etiketten immer noch der Standard und der effizienteste Weg ist, um Modelle zu trainieren.
Es behauptet auch nicht, dass dies ein Allheilmittel für jedes Problem ist. Es funktioniert gut für bestimmte Arten von Modellen (wie jene, die als „Glättungswerkzeuge“ beschrieben werden können), aber die Autoren betonen vorsichtig, dass dies eine theoretische Demonstration eines Konzepts ist und kein neuer Industriestandard.

Kurz gesagt: Man kann das Skelett eines Hauses bauen, ohne zu wissen, welcher Raum die Küche oder das Schlafzimmer sein wird. Sobald die Wände stehen, kann man Schilder an die Türen malen. Das Paper beweist, dass für viele KI-Modelle der Bau des Skeletts der schwierige Teil ist und die Schilder erst später einfach hinzugefügt werden können.

Technisches Resümee: Überwachtes Lernen als zweistufiges unüberwachtes Verfahren

Problemstellung

Die Arbeit adressiert eine fundamentale Frage im maschinellen Lernen: Sind die Ausgabelabels ( $y$ ) für das Training überwachter Modelle zwingend erforderlich, oder kann die Modellstruktur vollständig in einem unüberwachten Verfahren erlernt werden? Während das unüberwachte Lernen ohne Zugriff auf $y$ operiert, verlässt sich das überwachte Lernen traditionell auf $y$ , um die Modellparameter zu optimieren. Die Autoren untersuchen, ob überwachtes Lernen in ein zweistufiges Verfahren zerlegt werden kann, bei dem (1) alle Modellparameter (speziell der „Smoother“ oder die Repräsentation des Eingaberaums) ohne Zugriff auf $y$ ausgewählt werden und (2) die Ausgaben $y$ erst nach der Fixierung der Parameter hinzugefügt werden, um Vorhersagen zu generieren.

Methodik

1. Das Smoother-Framework

Der zentrale theoretische Beitrag ist die Formulierung überwachter Modelle als lineare Smoother. Ein Modell wird ausgedrückt als:
$\hat{f}^* = s^{*\top} y$
wobei $\hat{f}^*$ die Vorhersage für einen neuen Kovariaten $x^*$ ist und $s^*$ ein Smoothervektor (oder eine Matrix $S$ für In-Sample-Daten) ist, der von den Trainingskovariaten $X$ und potenziell von Modellhyperparametern abhängt, aber nicht von den Ausgaben $y$ .

Für lineare Modelle (z. B. Ridge-Regression) wird $s^*$ direkt aus der geschlossenen Lösung abgeleitet.
Für nicht-lineare Modelle (z. B. neuronale Netze, Random Forests) zeigen die Autoren, wie diese als Smoother ausgedrückt werden können. Für neuronale Netze nutzt dies das Neural Tangent Kernel (NTK)-Framework, welches das Netzwerk als linearen Smoother behandelt, dessen Smoother-Matrix während des Trainings iterativ aktualisiert wird, aber unabhängig vom wahren $y$ bleibt, wenn die Trainingslabels ersetzt werden.

2. Modellselektion ohne $y$ (MSV)

Um Modellhyperparameter (z. B. Regularisierungsstärke $\lambda$ , Kernel-Bandbreite oder Stoppzeit) ohne Zugriff auf $y$ zu selektieren, schlagen die Autoren ein Kriterium vor, das auf der Varianz von Out-of-Sample-Vorhersagen basiert.

Prämisse: Für ein gut generalisierendes Modell sollte die Verteilung der Out-of-Sample-Vorhersagen $\hat{f}^*_v$ in etwa der Verteilung der beobachteten Daten $y$ entsprechen.
Kriterium: Die Methode minimiert die Differenz zwischen der Stichprobenvarianz von $y$ und der Stichprobenvarianz der Vorhersagen auf einem Satz von Validierungskovariaten $X^*_v$ (welche aus der Trainingsverteilung generiert wurden, aber keine zugehörigen Labels besitzen).
y-freie Implementierung: Die Zielfunktion beinhaltet einen Term der Form $|y^\top A y|$ . Um dies unabhängig von $y$ zu machen, ersetzen die Autoren $y$ durch einen Zufallsvektor $y_R$ (oder den Nullvektor). Durch die Erwartung über $y_R$ vereinfacht sich das Ziel zur Minimierung einer Norm der Matrix $A$ (speziell der Trace-Seminorm oder Frobenius-Norm), bezeichnet als MSV-Tr (Matching of Sample Variances - Trace).
$\text{Minimiere } \left| 1 - \frac{1}{n^*_v} \text{Tr}(S^{*\top}_v S^*_v) \right|$
Dies ermöglicht die Hyperparameterselektion unter Verwendung von nur $X$ und generierten $X^*_v$ , wodurch die Notwendigkeit von $y$ während der Selektionsphase vollständig umgangen wird.

3. Theoretische Analyse

Die Arbeit liefert eine Bias-Varianz-Zerlegungsanalyse für die lineare Ridge-Regression im asymptotischen Limit ( $n, d \to \infty$ ).

Proposition 1: Zeigt, dass MSV-Tr das Modell so auswählt, dass die Varianz der inferierten Funktion der Varianz des Messrauschens ( $\sigma^2_\epsilon$ ) entspricht.
Theorem 1: Für die lineare Ridge-Regression leiten die Autoren einen geschlossenen Ausdruck für den optimalen Regularisierungsparameter $\lambda$ her, der durch MSV-Tr ausgewählt wird. Sie beweisen, dass das asymptotische Out-of-Sample-Risiko dieser Methode im Verhältnis zum theoretisch optimalen Risiko (welches Kenntnis über das Signal-Rausch-Verhältnis erfordert) begrenzt ist. Speziell für Signal-Rausch-Verhältnisse (SNR) in $[1, 80]$ ist das Risikoverhältnis durch 2,45 nach oben begrenzt.
Theorem 2: Demonstriert, dass alternative „y-freie“ Methoden, wie die generalisierte Kreuzvalidierung (GCV) und die In-Sample-MSV, für die Ridge-Regression versagen. Sie wählen entweder unendliche Regularisierung (kein Training) oder Null-Regularisierung (Overfitting), was sie für die Parameterselektion unbrauchbar macht. Nur die Out-of-Sample-MSV liefert eine endliche, nicht-Null-optimale Regularisierung.

Zentrale Beiträge

Dekompisition des überwachten Lernens: Die Arbeit zeigt, dass Standardmodelle des überwachten Lernens (lineare und Kernel-Ridge-Regression, Smoothing Splines, k-NN, Random Forests und neuronale Netze) in einem zweistufigen Prozess trainiert werden können, bei dem die Modellstruktur unüberwacht erlernt wird und die Labels erst in der Vorhersagephase eingeführt werden.
Neuartiges Modellselektionskriterium (MSV): Einführung eines Kriteriums zur Modellselektion, das auf dem Abgleich der Varianz von Out-of-Sample-Vorhersagen mit der Datenvarianz basiert, was ohne Zugriff auf $y$ durch Ersetzen von $y$ durch Zufallsrauschen berechnet werden kann.
Theoretische Schranken: Etablierung von asymptotischen Risikoschranken für die mittels MSV-Tr trainierte lineare Ridge-Regression, wobei gezeigt wird, dass sie innerhalb eines konstanten Faktors des optimalen Risikos operiert.
Empirische Validierung: Umfangreiche Experimente auf synthetischen und realen Datensätzen (MNIST, CIF-10, Steel Production, CPU Run Time, Superconductors, Power Consumption) zeigen, dass Modelle, die ohne $y$ trainiert wurden (unter Verwendung von Zufalls- oder Null-Labels während der Parameterselektionsphase), eine Performance erzielen, die mit dem Standardtraining mit $y$ vergleichbar ist.

Ergebnisse

Leistungsparität: In Experimenten erreichten Modelle, die ohne $y$ trainiert wurden (unter Verwendung von MSV zur Selektion), Genauigkeits- und $R^2$ -Werte, die sehr nah an ihren Standard-Gegenstücken mit $y$ -Training liegen. Beispielsweise erreichte der Standard-Neural-Network-Classifier auf MNIST eine Genauigkeit von 0,82, während die y-freie MSV-Version 0,75 erreichte.
Versagen von Alternativen: Die y-freie generalisierte Kreuzvalidierung (GCV) performte auf dem Niveau des Zufallraten (z. B. 0,1 Genauigkeit bei 10-Klassen-Problemen), was die theoretischen Erkenntnisse bestätigt, wonach GCV für diese Modelle die l-freie Umsetzung der Parameterselektion nicht effektiv leisten kann.
Random Forests: Während das y-freie Training für die meisten Modelle gut funktionierte, zeigten Random Forests eine größere Leistungslücke im Vergleich zum y-basierten Training. Die Autoren führen dies auf die Abhängigkeit der Entscheidungsbaum-Splits von der Varianz von $y$ zurück, welche verloren geht, wenn $y$ durch Zufallsrauschen ersetzt wird.

Signifikanz und Behauptungen

Die Arbeit behauptet, dass der Unterschied zwischen überwachtem und unüberwachtem Lernen „weniger fundamental ist, als er scheinen mag“. Die Ergebnisse legen nahe, dass die primäre Herausforderung beim überwachten Lernen darin besteht, eine gute Repräsentation des Eingaberaums $x$ (den Smoother $s^*$ ) zu finden, was auch ohne Labels erreicht werden kann. Die Labels $y$ sind lediglich notwendig, um diesen vorkonstruierten Repräsentationen Werte zuzuweisen.

Bescheidenheit der Ansprüche:
Die Autoren betonen explizit, dass sie nicht vorschlagen, $y$ in praktischen Anwendungen aus dem Trainingsprozess auszuschließen. Sie räumen ein, dass:

Die Smoother-Formulierung mit zunehmender Datengröße schlecht skaliert, insbesondere bei neuronalen Netzen, bei denen die NTK iterativ neu berechnet werden muss.
Ihre Methode nicht darauf abzielt, bestehende y-basierte Ansätze zu übertreffen.
Das Ziel darin besteht, die Machbarkeit aufzuzeigen und die theoretischen Parallelen zwischen überwachtem und unüberwachtem Lernen hervorzuheben, statt einen neuen Standard für den industriellen Einsatz vorzuschlagen.

Die Arbeit dient als theoretische und empirische Demonstration, dass Modellselektion und Repräsentationslernen von Label-Informationen entkoppelt werden können, was die konventionelle Notwendigkeit von Labels für die gesamte Trainingspipeline infrage stellt.