Statistical learning theory and Occam's razor: Regularization

Das Dilemma des Detektivs: Warum weniger oft mehr ist

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstelle von Hinweisen haben Sie einen Berg von Daten. In der Welt der Wissenschaft und Computer nennt man das maschinelles Lernen. Das Ziel ist es, einem Computer beizubringen, Muster in Daten zu finden, damit er kluge Vermutungen über neue Dinge anstellen kann, die er zuvor noch nicht gesehen hat. Denken Sie daran wie beim Training eines Hundes, einen „Ball“ zu erkennen, indem man ihm tausend verschiedene Bälle zeigt. Wenn der Hund zu streng lernt, könnte er denken, dass nur dieser eine spezifische rote Ball ein Ball ist, und den blauen übersehen. Wenn er zu locker lernt, könnte er denken, dass ein runder Keks ein Ball ist. Dieser Balanceakt ist der Kern des Problems.

Seit Jahrzehnten streiten Wissenschaftler über eine Regel namens Occams Rasiermesser. Es ist eine alte Idee, die besagt, dass man, wenn man zwei Erklärungen hat, die die Fakten gleichermaßen gut erklären, die einfachere wählen sollte. Aber warum? Ist das Universum von Natur aus einfach? Oder ist es nur so, dass einfache Dinge leichter zu handhaben sind? Dies war eine knifflige Frage für Philosophen und Informatiker gleichermaßen. Sie haben versucht zu beweisen, dass einfache Modelle besser sind, aber oft fühlte sich dieser Beweis zirkulär an – man setzte voraus, dass die Welt einfach ist, nur um zu beweisen, dass einfache Modelle funktionieren.

Die große Idee des Papers: Den „Fit“ gegen ein Sicherheitsnetz eintauschen

Dieses Paper, geschrieben von Tom F. Sterkenburg, taucht tief in die Mathematik des maschinellen Lernens ein, um einen soliden, nicht-zirkulären Grund für die Verwendung von Occams Rasiermesser zu finden. Der Autor sagt nicht einfach nur „Einfachheit ist gut“; er nutzt einen Rahmen namens Statistische Lerntheorie, um zu zeigen, dass der Tausch eines kleinen Stücks „perfekter Passgenauigkeit“ gegen viel „Einfachheit“ tatsächlich eine kluge Überlebensstrategie für Computer ist.

Hier ist die Geschichte dessen, was er herausgefunden hat:

1. Die Falle der perfekten Passgenauigkeit
Stellen Sie sich vor, Sie versuchen, eine Linie durch eine Punktwolke auf einem Graphen zu zeichnen. Wenn Sie ein sehr flexibles Lineal haben (ein komplexes Modell), können Sie es so perfekt verbiegen, dass es jeden einzelnen Punkt berührt. Es passt perfekt zu den Daten. Aber hier ist der Haken: Wenn Sie morgen einen neuen Satz von Punkten bekommen, wird diese wackelige Linie wahrscheinlich alle verfehlen. Sie hat das Rauschen (die zufälligen Zickzack-Bewegungen) auswendig gelernt, anstatt das Muster. In der Sprache des Papers nennt man das Overfitting (Überanpassung).

Das Paper erklärt, dass, wenn man versucht, das komplexeste Modell überhaupt zu verwenden (eines, das alles abbilden kann), man die Fähigkeit verliert, seinen Ergebnissen zu vertrauen. Man erhält eine Garantie, die besagt: „Wenn Sie unendlich viele Daten haben, könnten Sie recht haben“, aber in der realen Welt mit begrenzten Daten ist diese Garantie nutzlos.

2. Das „Was-man-sieht, ist-was-man-bekommt“-Versprechen
Der Autor führt ein Konzept namens Uniform Convergence (Gleichmäßige Konvergenz) ein. Denken Sie an dies als ein „Wahrheits-in-der-Werbung“-Etikett für Ihr Modell. Es verspricht, dass, wenn Ihr Modell bei den Daten, die Sie haben (dem Trainingsdatensatz), gut aussieht, es wahrscheinlich auch bei neuen Daten (dem Testdatensatz) gut aussehen wird.

Das Paper beweist jedoch eine strikte Regel: Sie können dieses „Wahrheits-in-der-Werbung“-Versprechen nur dann erhalten, wenn Sie begrenzen, wie komplex Ihr Modell sein darf. Wenn Ihr Modell zu flexibel (zu komplex) ist, bricht das Versprechen zusammen. Sie können nicht darauf vertrauen, dass das, was Sie sehen, auch das ist, was Sie bekommen. Also lautet die erste Lektion: Halten Sie Ihr Modell einfach genug, damit Sie Ihren Ergebnissen vertrauen können.

3. Die wahre Magie: Strukturelle Risikominimierung (SRM)
Aber warten Sie, was ist, wenn die Wahrheit kompliziert ist? Was ist, wenn das Muster wirklich eine wackelige Linie ist und eine gerade Linie (ein einfaches Modell) einfach nicht ausreicht? Wenn wir uns nur an einfache Modelle halten, könnten wir die Antwort komplett verpassen. Dies ist der „Bias-Komplexitäts-Trade-off“ (Spannungsverhältnis zwischen Voreingenommenheit und Komplexität).

Die Hauptentdeckung des Papers ist eine Methode namens Strukturelle Risikominimierung (SRM). Dies ist die Art und Weise, wie der Computer klug spielt. Anstatt sich für ein einziges Modell zu entscheiden und dabei zu bleiben, betrachtet SRM eine ganze Familie von Modellen, die von sehr einfach bis sehr komplex reicht.

Hier ist der clevere Trick: SRM sucht nicht nur nach dem Modell, das die Daten am besten passt. Es sucht nach dem Modell, das die Daten gut genug erklärt und dabei so einfach wie möglich bleibt. Es fügt eine „Strafe“ für Komplexität hinzu.

• Wenn ein komplexes Modell etwas besser zu den Daten passt als ein einfaches, aber die Komplexitätsstrafe riesig ist, sagt SRM: „Nein danke, bleib beim einfachen Modell.“
• Wenn ein komplexes Modell viel besser zu den Daten passt, ist die Strafe es wert, und SRM sagt: „Okay, lass uns komplex werden.“

4. Warum dies nicht nur eine Vermutung ist
Das Paper argumentiert, dass dies nicht nur ein glücklicher Zufall oder eine philosophische Vermutung ist. Es ist eine methodologische Rechtfertigung. Der Autor zeigt, dass es die klügste Art zu lernen ist, diesen „Trade-off“-Ansatz zu verwenden, selbst wenn wir nicht wissen, ob die Welt einfach oder komplex ist.

Er verwendet ein Konzept namens „Glückhaftigkeit“ (Luckiness). Stellen Sie sich vor, Sie wetten auf ein Pferderennen.

• Wenn Sie auf ein einfaches Pferd setzen und das Rennen tatsächlich einfach ist, gewinnen Sie groß.
• Wenn Sie auf ein einfaches Pferd setzen und das Rennen komplex ist, verlieren Sie, aber nicht wesentlich mehr, als wenn Sie blind auf ein komplexes Pferd gesetzt hätten.
• Aber wenn Sie auf ein komplexes Pferd setzen und das Rennen einfach ist, verlieren Sie groß, weil Sie die Dinge zu sehr verkompliziert haben.

Indem wir SRM (den Trade-off) nutzen, schützen wir uns vor dem Worst-Case-Szenario. Wir gewinnen viel, wenn wir „glücklich“ sind (die Wahrheit ist einfach), und wir verlieren nicht viel, wenn wir „unglücklich“ sind (die Wahrheit ist komplex).

5. Was das Paper explizit NICHT ist
Der Autor ist sehr sorgfältig darin zu sagen, was dies nicht ist.

• Es ist kein Beweis dafür, dass das Universum einfach ist. Wir müssen nicht glauben, dass die Welt einfach ist, damit dies funktioniert.
• Es ist nicht nur eine pragmatische Regel (wie „einfache Dinge sind leichter aufzuschreiben“). Es geht um eine bessere Genauigkeit.
• Es ist kein Allheilmittel für jede einzelne moderne Technik. Das Paper gibt zu, dass es in dem sehr aktuellen Feld des „Deep Learning“ seltsam wird (manchmal funktionieren superkomplexe Modelle überraschend gut), und diese spezifische Mathematik erklärt diese neuen Phänomene noch nicht vollständig.

Das Fazit
Warum bevorzugen wir also Einfachheit im maschinellen Lernen? Laut diesem Paper ist es nicht deshalb, weil das Universum einfach ist. Es ist deshalb, weil Einfachheit ein Sicherheitsnetz ist. Indem wir ein kleines Stück „perfekte Passgenauigkeit“ gegen viel „Einfachheit“ eintauschen, erhalten wir eine mathematische Garantie, dass die Vermutungen unseres Computers bei neuen Daten tatsächlich funktionieren werden. Es ist der Unterschied zwischen dem Auswendiglernen eines Skripts und dem Verständnis der Geschichte. Das Paper beweist, dass dieser Trade-off der zuverlässigste Weg zum Lernen ist, egal ob die Wahrheit einfach oder kompliziert ist.