Neural Network Conversion of Machine Learning Pipelines

Diese Arbeit untersucht, wie sich Random-Forest-Klassifikatoren als Lehrer-Modelle nutzen lassen, um durch Transfer Learning und Hyperparameter-Optimierung kompakte neuronale Netzwerke zu trainieren, die auf einer Vielzahl von OpenML-Aufgaben die Leistung ihrer Lehrer-Modelle nachahmen und so eine vereinheitlichte Inferenzengine ermöglichen.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr erfahrenen, aber etwas sperrigen Kochmeister (den sogenannten „Lehrer"). Dieser Kochmeister ist ein Experte für das Zubereiten von komplexen Gerichten (Datenanalyse). Er nutzt eine riesige Sammlung von speziellen Werkzeugen und Rezepten, die als „Random Forest" bekannt sind. Er macht seine Arbeit hervorragend, aber seine Küche ist schwerfällig, langsam und passt nicht gut in einen kleinen mobilen Food-Truck (wie ein Smartphone oder ein eingebettetes System).

Die Autoren dieses Papers haben eine spannende Idee: Können wir einen jungen, schnellen Kochschüler (ein „Neuronales Netz") ausbilden, der so gut kocht wie der Meister, aber in einem viel kleineren, flexibleren Food-Truck Platz findet?

Hier ist die Geschichte, einfach erklärt:

1. Das Konzept: Der Meister und der Schüler

Normalerweise trainiert man einen kleinen Kochschüler, indem man ihn von einem anderen großen Kochmeister unterrichtet. Aber hier ist der Trick: Der „Lehrer" ist kein Kochschüler, sondern ein ganz anderes System (der Random Forest).

• Die Methode: Der junge Kochschüler (das Neuronale Netz) schaut nicht auf die rohen Zutaten (die ursprünglichen Daten), sondern er schaut dem Meister über die Schulter. Er sieht, welche Gerichte der Meister serviert und wie er sie bewertet.
• Der Vorteil: Wenn der Schüler das Menü des Meisters perfekt nachkochen kann, können wir den alten, schweren Meister durch den jungen, schnellen Schüler ersetzen. Das ist wie der Wechsel von einem riesigen, stromfressenden Ofen zu einem effizienten, modernen Induktionskochfeld.

2. Das Experiment: 100 verschiedene Küchen

Die Forscher haben sich 100 verschiedene „Kochwettbewerbe" (Daten-Sets aus OpenML) ausgesucht. In fast allen davon war der alte Kochmeister (Random Forest) der beste Kandidat.

Sie haben dann 600 verschiedene Versionen ihres jungen Kochschülers (Neuronale Netze mit unterschiedlicher Größe und Struktur) gebaut. Jeder Schüler hat versucht, die Gerichte des Meisters nachzukochen.

Das Ergebnis:

• In 55 % der Fälle war der Schüler genauso gut oder sogar besser als der Meister!
• Im Durchschnitt war der Schüler nur winzig wenig schlechter (etwa 2,66 %).
• Warum war der Schüler manchmal besser? Der alte Meister schneidet den Raum der Zutaten in harte, rechteckige Blöcke (wie ein Pixelbild). Der junge Schüler kann jedoch flüssigere, geschmeidigere Kurven zeichnen. Bei manchen Rezepten passt diese „flüssige" Art des Denkens einfach besser.

3. Die Herausforderung: Welchen Schüler nehmen wir?

Das Problem war: Sie hatten 600 verschiedene Schüler. In der echten Welt kann man nicht 600 verschiedene Modelle trainieren, nur um das eine Beste zu finden. Das wäre wie 600 verschiedene Rezepte auszuprobieren, nur um das eine perfekte zu finden.

• Die Entdeckung: Sie stellten fest, dass sie nicht alle 600 brauchen. Schon eine kleine Auswahl von etwa 20 verschiedenen Schülern reichte aus, um fast genauso gut abzuschneiden wie die Suche nach dem absolut perfekten Einzelnen.
• Der Versuch mit einem Automaten: Die Forscher versuchten, einen weiteren Algorithmus (einen „TÜV-Prüfer") zu bauen, der anhand der Zutaten (der Daten) vorhersagen sollte, welcher der 20 Schüler der richtige ist.
• Das Scheitern: Dieser „TÜV-Prüfer" hat es nicht geschafft, den richtigen Schüler zu finden. Warum? Weil die Informationen über die Zutaten (die Metadaten) zu ungenau waren und sie zu wenig Beispiele hatten, um den Prüfer selbst zu trainieren. Es ist wie der Versuch, einem Computer beizubringen, das perfekte Auto für eine Reise zu wählen, indem man ihm nur sagt: „Es ist rot" und „Es hat vier Räder". Das reicht nicht aus.

4. Warum ist das wichtig? (Die große Vision)

Stellen Sie sich vor, Sie haben eine ganze Fabrik, die aus vielen verschiedenen Maschinen besteht (Daten bereinigen, Merkmale extrahieren, klassifizieren). Jede Maschine ist ein anderes Werkzeug.

Wenn man alle diese Maschinen in eine einzige, große, neuronale Fabrik umwandeln könnte, wäre das genial:

1. Einheitlichkeit: Alles läuft auf einer einzigen Plattform.
2. Geschwindigkeit: Spezialisierte Hardware (wie Grafikkarten/GPUs) kann die ganze Fabrik extrem schnell betreiben.
3. Anpassungsfähigkeit: Wenn sich die Zutaten ändern (neue Daten), kann man die ganze Fabrik gemeinsam neu justieren, statt jede Maschine einzeln zu reparieren.

Fazit

Die Forscher haben gezeigt, dass man einen alten, bewährten, aber sperrigen Algorithmus (Random Forest) erfolgreich in einen modernen, schnellen neuronalen Netz-Schüler verwandeln kann. Der Schüler kann fast genauso gut kochen wie der Meister.

Die größte Hürde ist noch nicht gelöst: Wir wissen noch nicht genau, wie man automatisch vorhersagt, welcher Schüler für welches Rezept der richtige ist. Aber der erste Schritt – den Meister durch den Schüler zu ersetzen – ist erfolgreich gegangen. Es ist, als hätten sie bewiesen, dass ein junger Koch mit einem modernen Herd genauso leckere Suppe machen kann wie ein alter Meister mit einem riesigen Kessel.

Technische Zusammenfassung

Titel: Neuronale Netz-Konvertierung von Machine-Learning-Pipelines

Autoren: Man-Ling Sung, Jan Silovsky, Man-hung Siu, Herbert Gish, Chinnu Pittapally (Raytheon BBN Technologies)
Veröffentlicht: ICML 2018 AutoML Workshop, JMLR: Workshop and Conference Proceedings 1:1–7, 2018

---

1. Problemstellung

Das Hauptziel der Arbeit ist die Untersuchung, ob neuronale Netze (NN) als Ersatz für bestehende, nicht-neuronale Machine-Learning-Pipelines (oder Teile davon) eingesetzt werden können.

• Herausforderung: Herkömmliche Pipelines bestehen oft aus diskreten Komponenten (z. B. Imputation, PCA, Random Forest), die unabhängig voneinander optimiert werden. Dies erschwert die gemeinsame Optimierung des gesamten Systems.
• Ziel: Durch die Konvertierung dieser Komponenten in ein einheitliches neuronales Netzwerk soll eine gemeinsame Optimierung (Joint Optimization) aller Teile ermöglicht werden. Dies würde zudem den Einsatz spezialisierter Hardware (GPUs) erleichtern und die Anpassungsfähigkeit an dynamische Umgebungen sowie die Generalisierungsfähigkeit verbessern.
• Spezifischer Fokus: Die Autoren konzentrieren sich auf den Ersatz eines Random-Forest-Klassifikators (als „Lehrer") durch einen neuronalen Netz-Klassifikator (als „Schüler"), ohne dabei zwingend die Leistung des Lehrers zu übertreffen, sondern diese zu erreichen.

2. Methodik

Die Autoren nutzen das Paradigma des Student-Teacher-Lernens (Wissensdistillation), erweitern es jedoch von NN-zu-NN auf nicht-neuronale Systeme zu NN.

• Lehrer-Modell (Teacher): Ein Random-Forest-Klassifikator, der Teil einer vordefinierten Pipeline ist (bestehend aus Imputation, PCA und Random Forest).
• Schüler-Modell (Student): Ein Multi-Layer Perceptron (MLP).
• Trainingsprozess:
  1. Der Lehrer wird auf den Originaldaten trainiert.
  2. Der Lehrer generiert für die Trainingsdaten (oder neue, ungelabelte Daten) die Posterior-Wahrscheinlichkeiten (weiche Labels) statt harter Klassenzuordnungen.
  3. Der Schüler (MLP) wird mit diesen vom Lehrer generierten Labels trainiert.
• Experimentelles Setup:
  • Datensatz: 100 verschiedene Aufgaben (Tasks) von der Plattform OpenML, bei denen Random Forests als eine der besten Lösungen bekannt sind.
  • Konfigurationen: Für jede Aufgabe wurden 600 verschiedene MLP-Konfigurationen getestet (Variation von Schichtenanzahl, Knoten pro Schicht, Bottleneck-Größe, Aktivierungsfunktionen und Lernraten).
  • Validierung: 10-fache Kreuzvalidierung. Für jede Aufgabe wurden 10 verschiedene Lehrer trainiert und die Wissensübertragung unabhängig auf 10 Schüler angewendet.

3. Wichtige Beiträge

1. Erweiterung der Wissensdistillation: Demonstration, dass der Student-Teacher-Ansatz erfolgreich auf den Transfer von klassischen ML-Algorithmen (Random Forest) zu neuronalen Netzen angewendet werden kann.
2. Pipeline-Integration: Ein Konzept zur schrittweisen Konvertierung von Pipelines, um eine spätere End-to-End-Optimierung zu ermöglichen.
3. Analyse der Hyperparameter-Sensitivität: Untersuchung, wie stark die Leistung des Schülers von der Wahl der NN-Architektur abhängt.
4. Automatisierte Auswahl: Versuch, mittels eines Random Forests die beste NN-Konfiguration basierend auf Metadaten der Datensätze automatisch vorherzusagen.

4. Ergebnisse

• Leistungsvergleich:
  • Bei 55 % der Aufgaben performte der beste MLP-Schüler gleich gut oder besser als der Random-Forest-Lehrer.
  • Im Durchschnitt lag die Leistung der Schüler um 2,66 % unter der des Lehrers.
  • Der Median zeigte jedoch, dass die Schüler im Durchschnitt fast gleichauf mit den Lehrern lagen (0,01 % besser), was darauf hindeutet, dass einige wenige Ausreißer den Durchschnitt nach unten ziehen.
  • In einigen Fällen übertraf der Schüler den Lehrer deutlich, was auf die glatteren Entscheidungsgrenzen von MLPs im Vergleich zu den rechteckigen Partitionen von Random Forests zurückgeführt wird.
• Reduktion der Konfigurationen:
  • Es ist nicht notwendig, alle 600 Konfigurationen zu testen.
  • Die Auswahl des einzigen besten Systems aus dem gesamten Pool führte nur zu einem minimalen Leistungsverlust (0,9 % schlechter) im Vergleich zur besten Auswahl pro Aufgabe.
  • Eine Auswahl aus einer Teilmenge von nur 20 Schülern reduzierte die Lücke auf 0,45 %. Dies zeigt, dass eine kleine, komplementäre Menge von Architekturen ausreicht.
• Automatische Auswahl:
  • Der Versuch, die beste NN-Konfiguration basierend auf OpenML-Datensatz-Metadaten (74 Merkmale) automatisch vorherzusagen, scheiterte.
  • Die automatische Auswahl führte zu keiner signifikanten Verbesserung und verschlechterte die Leistung bei größeren Schüler-Mengen.
  • Ursache: Die verfügbaren Metadaten waren nicht aussagekräftig genug für diese Aufgabe, und die Stichprobengröße (100 Tasks) war zu klein für ein robustes Meta-Learning.

5. Bedeutung und Ausblick

• Einheitliche Inferenz-Engine: Die Konvertierung ermöglicht es, heterogene ML-Pipelines in ein einheitliches neuronales Netzwerk zu überführen, was die Deployment-Flexibilität und Hardware-Nutzung (GPUs) verbessert.
• Gemeinsame Optimierung: Obwohl die aktuelle Arbeit nur den Klassifikator ersetzt, legt sie den Grundstein für die zukünftige Konvertierung ganzer Pipelines (inkl. Feature-Extraktion), was eine end-to-end Optimierung erlaubt.
• Daten-Augmentierung: Die Autoren schlagen vor, durch Modellierung des Merkmalsraums und Generierung neuer Samples (gestützt durch die Lehrer-Labels) die Trainingsdaten für den Schüler zu erweitern, um die Leistung zu steigern.
• Zukünftige Arbeiten: Weitere Forschung ist nötig bezüglich der Konvertierung anderer Pipeline-Komponenten, verbesserter Methoden zur automatischen Architekturselektion und der end-to-end Optimierung.

Fazit: Die Studie zeigt, dass neuronale Netze durch Wissensdistillation von Random Forests lernen können, deren Leistung in den meisten Fällen zu erreichen. Dies ist ein vielversprechender erster Schritt hin zu vollständig neuronalen, optimierbaren ML-Pipelines, wobei die Wahl der richtigen Architektur entscheidend ist und eine automatische Auswahl basierend auf aktuellen Metadaten noch nicht zuverlässig funktioniert.