On the Learnability of Offline Model-Based Optimization: A Ranking Perspective

Diese Arbeit stellt die Annahme in Frage, dass hohe Vorhersagegenauigkeit für Offline-Modellbasierte Optimierung ausreicht, und beweist theoretisch sowie empirisch, dass ein rankingbasierter Ansatz, der die Verteilungsunterschiede zwischen Trainingsdaten und optimalen Designs berücksichtigt, überlegene Ergebnisse liefert, während sie gleichzeitig inhärente Grenzen der Methode aufzeigt.

Das Wesentliche

Das große Problem: Der "verstaubte Kochbuch"-Ansatz

Stell dir vor, du bist ein Koch, der das perfekte Rezept für einen Kuchen finden soll. Aber es gibt ein Problem: Du darfst den Ofen nicht anmachen und keine neuen Kuchen backen. Du darfst nur in einem alten, verstaubten Notizbuch blättern, das jemand anderes vor Jahren geschrieben hat.

In diesem Buch stehen hunderte Rezepte und die Bewertungen, die sie damals bekommen haben.

• Die meisten Rezepte waren okay, aber ein paar waren wirklich schlecht.
• Die besten Rezepte (die "Near-Optimalen") fehlen fast ganz oder sind nur am Rande erwähnt.

Der alte Ansatz (Regression):
Bisher haben KI-Modelle versucht, dieses Buch zu "lernen", indem sie sich gemerkt haben: "Wenn Rezept A so aussieht, schmeckt es 8 von 10 Punkten." Sie haben versucht, die genaue Punktzahl jedes Rezepts vorherzusagen.
Das Problem: Wenn das Modell versucht, die genaue Punktzahl für ein neues Rezept vorherzusagen, das im Buch gar nicht steht, rät es oft wild herum. Es denkt vielleicht: "Das sieht ähnlich aus wie ein schlechtes Rezept, also ist es sicher auch schlecht" – oder schlimmer: Es denkt, es sei ein Genie, weil es die Zahlen nicht richtig verstanden hat. Das führt zu Katastrophen.

Die neue Erkenntnis (Ranking):
Die Autoren dieses Papiers sagen: *"Halt! Wir brauchen gar nicht wissen, wie viele Punkte ein Rezept genau hat. Wir müssen nur wissen: Ist dieses neue Rezept besser als das alte, schlechte?"*

Statt zu versuchen, die Zahl (die Punktzahl) perfekt zu erraten, sollten wir uns darauf konzentrieren, die Reihenfolge (das Ranking) richtig zu verstehen.

• Ist Rezept X besser als Rezept Y?
• Ist Rezept Z besser als das Durchschnittliche?

Das ist wie bei einem Sporttrainer. Der Trainer muss nicht wissen, ob ein Läufer exakt 10,23 Sekunden läuft. Er muss nur wissen: "Ist dieser Läufer schneller als der andere?" Wenn er das weiß, kann er den Schnellsten auswählen, auch wenn er die genaue Zeit nicht kennt.

Die drei wichtigsten Erkenntnisse der Forscher

Die Wissenschaftler haben drei Dinge bewiesen, die wie ein neuer Fahrplan für KI-Optimierung wirken:

1. Reihenfolge ist wichtiger als Genauigkeit:
   Es ist viel einfacher und sicherer, eine KI zu trainieren, die sagt "A ist besser als B", als eine KI, die sagt "A hat genau 8,4 Punkte". Die "Reihenfolge-KI" macht weniger Fehler, wenn sie Dinge sieht, die sie noch nie gesehen hat (wie ein neues Rezept).

2. Das Problem der "falschen Freunde" (Verteilungs-Mismatch):
   Das alte Notizbuch (die Trainingsdaten) enthält hauptsächlich mittelmäßige oder schlechte Rezepte. Die perfekten Rezepte fehlen. Wenn die KI versucht, ein neues, super-rezept zu finden, muss sie sich etwas ausdenken, das weit entfernt von dem ist, was sie im Buch gesehen hat.

   • Die Metapher: Stell dir vor, du hast nur Fotos von Hunden und Katzen gelernt. Jetzt sollst du ein Bild von einem Tiger erkennen. Wenn du versuchst, das Tier basierend auf den "Durchschnittswerten" von Hunden und Katzen zu beschreiben, wirst du scheitern.
   • Die Forscher sagen: Das Hauptproblem ist nicht, dass die KI dumm ist, sondern dass die Trainingsdaten (das Buch) zu weit weg von den wirklich guten Lösungen liegen.

3. Die "Unvermeidbare Wand":
   Es gibt eine Grenze. Wenn die perfekten Lösungen so weit weg von den Daten im Buch liegen, dass sie wie eine andere Welt wirken, kann keine KI der Welt sie finden. Man kann nicht aus dem Nichts etwas Besseres erschaffen, wenn man keine Ahnung hat, wie es aussieht. Das ist eine fundamentale Grenze des "Offline"-Lernens.

Die Lösung: "DAR" (Der datenbewusste Sortierer)

Basierend auf diesen Erkenntnissen haben die Autoren eine neue Methode namens DAR (Distribution-Aware Ranking) entwickelt.

Wie funktioniert DAR?
Statt das ganze alte Buch abzuarbeiten, macht DAR folgendes:

1. Es filtert: Es schaut sich das alte Buch an und sucht sich nur die besten 20% der Rezepte heraus (die "Near-Optimalen").
2. Es vergleicht: Es trainiert die KI speziell darauf, diese guten Rezepte mit den schlechten Rezepten zu vergleichen. "Siehst du, dieses gute Rezept ist besser als dieses schlechte?"
3. Es schärft den Fokus: Die KI lernt nicht mehr, die ganze Welt zu verstehen, sondern nur den Weg von "schlecht" zu "gut".

Das Ergebnis:
In Tests (wie beim Design von Robotern oder chemischen Molekülen) hat DAR 20 andere Methoden besiegt. Es findet bessere Lösungen, weil es nicht versucht, die Welt perfekt zu berechnen, sondern einfach nur die beste Reihenfolge findet.

Zusammenfassung in einem Satz

Statt zu versuchen, die genaue Punktzahl jedes Designs vorherzusagen (was oft zu falschen Hoffnungen führt), sollte die KI lernen, die besten Designs von den schlechten zu unterscheiden – und dabei besonders darauf achten, dass sie genug Beispiele von den "guten" Dingen hat, um nicht in der Fremde zu landen.

Es ist der Unterschied zwischen einem Koch, der versucht, die perfekte Grammzahl Zucker zu erraten, und einem Koch, der einfach nur weiß: "Dieser Kuchen schmeckt besser als jener". Und genau das führt zum Erfolg.

Technische Zusammenfassung

1. Problemstellung

Offline Model-Based Optimization (MBO) zielt darauf ab, hochperformante Designs (z. B. Proteinsequenzen, chemische Moleküle oder mechanische Strukturen) zu finden, indem nur ein statischer, vorab gesammelter Datensatz vergangener Evaluationen genutzt wird. Direkte Experimente sind in diesen Bereichen oft zu kostspielig oder unmöglich.

Das vorherrschende Paradigma bisheriger Methoden basiert auf regressionsbasierten Surrogatmodellen. Ein Modell wird trainiert, um die unbekannte Zielfunktion durch Minimierung des mittleren quadratischen Fehlers (MSE) auf dem Offline-Datensatz zu approximieren. Die implizite Annahme ist: Wenn das Surrogatmodell die Funktionswerte genau vorhersagt, führt die Optimierung dieses Surrogats automatisch zu hochwertigen Designs.

Die Autoren identifizieren jedoch zwei fundamentale Probleme dieses Ansatzes:

1. Falsches Lernziel: Das eigentliche Ziel von MBO ist nicht die präzise Vorhersage absoluter Werte (Regression), sondern die korrekte Reihenfolge (Ranking) von Designs, insbesondere die Unterscheidung zwischen nahezu optimalen und suboptimalen Lösungen.
2. Verteilungsverschiebung (Distributional Mismatch): Der Trainingsdatensatz ist oft stark von den tatsächlich optimalen Regionen entfernt (Out-of-Distribution, OOD). Regression versucht, den gesamten Raum zu modellieren, was zu überoptimistischen Extrapolationen in unbekannten Regionen führt.

2. Methodik und Theoretischer Rahmen

Die Autoren schlagen einen neuen theoretischen Rahmen vor, der Offline-MBO aus der Perspektive der Lernbarkeit (Learnability) und des Rankings betrachtet.

A. Theoretische Analyse

• Ranking vs. Regression: Sie beweisen, dass rankingbasierte Verlustfunktionen strikt engere Generalisierungsgarantien bieten als klassische Regressionsverluste (wie MSE). Ein Surrogatmodell muss nicht den exakten Wert $f(x)$ kennen, sondern muss nur sicherstellen, dass $h_\theta(x_{gut}) > h_\theta(x_{schlecht})$ gilt.
• Fehlerquellen-Analyse: Die Analyse zeigt, dass der dominante Fehlerquellen nicht die Modellkomplexität oder der Trainingsfehler ist, sondern die Verteilungsverschiebung zwischen den Trainingsdaten und den nahezu optimalen Designs.
• Geometrische Trennung: Sie charakterisieren eine intrinsische Grenze des Offline-MBO: Wenn die nahezu optimalen Designs geometrisch weit vom Träger des Trainingsdatensatzes (dem Datenmanifold) entfernt sind, ist eine zuverlässige Optimierung unmöglich, da das Modell gezwungen ist, aggressiv zu extrapolieren. Dies führt zu unvermeidlichen Fehlern, die durch keine Methode vermieden werden können.

B. Proposed Algorithm: Distribution-Aware Ranking (DAR)

Basierend auf der Erkenntnis, dass die Verteilung der Trainingsdaten angepasst werden muss, um die Diskrepanz zu den optimalen Regionen zu verringern, entwickeln sie die DAR-Methode:

1. Datenaufbereitung: Der Offline-Datensatz wird basierend auf einem Quantil $\epsilon$ in eine „nahezu optimale" Teilmenge ($S_\epsilon$) und eine „suboptimale" Teilmenge ($S_{>\epsilon}$) unterteilt.
2. Paarweises Sampling: Anstatt globale Regression zu betreiben, werden Trainingspaare $(x_1, x_2)$ gezielt so konstruiert, dass $x_1$ aus $S_\epsilon$ und $x_2$ aus $S_{>\epsilon}$ stammt. Dies erzwingt ein Lernen der korrekten Rangordnung zwischen guten und schlechten Designs.
3. Regularisierung: Ein Teil der Trainingspaare stammt auch aus $S_\epsilon$, um die Konsistenz innerhalb der hochwertigen Region zu stabilisieren.
4. Output-Adaptierung: Da Ranking-Verluste keine absolute Skalierung der Vorhersagen erzwingen, wird eine Normalisierung (z-Score) der Surrogat-Ausgaben durchgeführt, um eine stabile gradientenbasierte Optimierung zu ermöglichen.

3. Wichtige Beiträge

1. Theoretischer Beweis: Nachweis, dass Ranking-Verluste theoretisch überlegene Generalisierungsgrenzen für Offline-MBO bieten als MSE-Regression, da sie sich direkt auf das Optimierungsziel konzentrieren.
2. Identifikation der Hauptfehlerquelle: Die Dominanz der Verteilungsverschiebung (Mismatch) zwischen Trainingsdaten und optimalen Designs als primäre Fehlerquelle, quantifiziert durch den Wasserstein-Abstand.
3. Intrinsische Grenzen: Eine formale Charakterisierung der Fälle, in denen Offline-MBO fundamental unzuverlässig ist (wenn die optimalen Lösungen zu weit vom Datenmanifold entfernt liegen).
4. Algorithmische Lösung: Entwicklung von DAR, einer Methode, die die theoretischen Erkenntnisse nutzt, um die effektive Trainingsverteilung aktiv zu gestalten und so die Leistung zu steigern.

4. Ergebnisse

Die Methode wurde umfassend auf verschiedenen Aufgaben getestet:

• Branin-Funktion: Visuelle Analysen zeigen, dass DAR im Gegensatz zu MSE-basierten Modellen die multi-modalen Topografien und die wahren Optima korrekt extrapoliert, selbst wenn der Trainingsdatensatz nur aus den schlechtesten 60 % der Designs besteht.
• Design-Bench: DAR wurde auf fünf Standardaufgaben (Ant, D'Kitty, Superconductor, TF-Bind-8, TF-Bind-10) getestet und verglichen mit 20 bestehenden Methoden (einschließlich aktueller State-of-the-Art-Methoden wie ROOT, RaM, Match-OPT).
  • Ergebnis: DAR erreichte den besten durchschnittlichen Rang (1.6) über alle Aufgaben hinweg.
  • Es übertraf insbesondere die reinen Ranking-Methoden (wie RaM) durch die gezielte Anpassung der Datenverteilung.
  • Die Experimente bestätigten die theoretische Vorhersage: Je größer der geometrische Abstand zwischen Trainingsdaten und Optima, desto schlechter die Leistung aller Methoden, was die intrinsische Grenze des Offline-MBO unterstreicht.

5. Bedeutung und Fazit

Dieses Paper stellt einen Paradigmenwechsel in der Forschung zu Offline-MBO dar. Es widerlegt die weit verbreitete Annahme, dass eine hohe Vorhersagegenauigkeit (niedriger MSE) für eine erfolgreiche Optimierung notwendig ist. Stattdessen zeigt es, dass korrektes Ranking der entscheidende Faktor ist.

Die Bedeutung liegt in drei Bereichen:

1. Theoretisches Verständnis: Es liefert den ersten einheitlichen theoretischen Rahmen, der Surrogat-Lernen direkt mit der finalen Optimierungsqualität verbindet und die Rolle von Verteilungsverschiebungen mathematisch fundiert erklärt.
2. Praktische Effizienz: Die vorgeschlagene DAR-Methode ist einfach zu implementieren, erfordert keine komplexen Generativmodelle und erzielt State-of-the-Art-Ergebnisse auf etablierten Benchmarks.
3. Realistische Erwartungen: Die Arbeit definiert klare Grenzen, wann Offline-MBO scheitern muss (bei zu großer Distanz zum Datenmanifold), was hilft, unrealistische Erwartungen in der Anwendung zu vermeiden und den Fokus auf datengetriebene Strategien zu lenken, die die Datenverteilung aktiv nutzen.

Zusammenfassend beweist das Paper, dass Offline-MBO nicht als Regressionsproblem, sondern als Ranking-Problem unter Verteilungsverschiebung verstanden werden muss, um erfolgreich zu sein.