💻 computer science

Relation Reasoning with LLMs in Expensive Optimization

Dieser Beitrag stellt R2SAEA vor, einen neuartigen, durch Surrogate unterstützten evolutionären Algorithmus, der ein durch Reinforcement Learning trainiertes großes Sprachmodell nutzt, um für kostenintensive Optimierungsprobleme eine effiziente, zero-shot-bezogene Relationenbasierte Schlussfolgerung durchzuführen, wodurch der Nachtrainierungsaufwand traditioneller Surrogate überwunden und ein State-of-the-Art-Leistungsgrad erreicht wird.

Ursprüngliche Autoren: Ye Lu, Bingdong Li, Aimin Zhou, Hao Hao

Veröffentlicht 2026-05-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ye Lu, Bingdong Li, Aimin Zhou, Hao Hao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, die beste Route durch ein riesiges, nebliges Gebirge zu finden. Das Problem ist, dass die Überprüfung der Höhe eines einzelnen Punktes einen ganzen Tag Wandern erfordert (dies nennt das Papier eine „teure Bewertung"). Sie haben nur eine begrenzte Anzahl von Tagen (ein knappes Budget), sodass Sie nicht überallhin wandern können.

Traditionell verwenden Wissenschaftler „Karten" (mathematische Modelle), um zu erraten, wo die Tiefpunkte liegen. Doch diese Karten sind tückisch: Sobald Sie neue Gebiete erkunden, werden die alten Karten unbrauchbar, und Sie müssen wertvolle Zeit damit verbringen, sie von Grund auf neu zu zeichnen. Dies ist der Engpass, den das Papier zu lösen versucht.

Hier ist die Lösung des Papiers, aufgeschlüsselt in einfache Konzepte:

1. Die neue „Karte": Ein kluger Richter statt eines Rechners

Anstatt zu versuchen, die genaue Höhe eines Punktes vorherzusagen (was schwierig ist und ständiges Neuzeichnen erfordert), bringen die Autoren einer KI bei, wie ein Richter in einem Boxkampf zu agieren.

Alter Weg: Die KI versucht, die genaue Punktzahl jedes Kampfes zu erraten.
Neuer Weg (R2SAEA): Die KI betrachtet nur zwei Kämpfer gleichzeitig und beantwortet eine einfache Frage: „Ist Kämpfer A besser als Kämpfer B?"

Dies nennt man Relationsbegründung. Da evolutionäre Algorithmen (die Suchmethode) hauptsächlich daran interessiert sind, welche Option besser als eine andere ist, nicht an den genauen Zahlen, ist dieser „Richter"-Ansatz viel effizienter.

2. Der „Anker"-Trick: Vermeidung der Bibliotheksüberlastung

Wenn Sie 100 Wanderer haben und wissen möchten, wie jeder einzelne mit jedem anderen verglichen wird, müssten Sie den Richter nach etwa 10.000 Paaren fragen. Das sind zu viele Fragen für die KI, um sie gleichzeitig zu bearbeiten (sie würde den „Speicher" oder Kontext erschöpfen).

Die Autoren entwickelten eine „Anker"-Strategie:

Anstatt alle auf einmal zu befragen, wählen sie einen Wanderer als „Anker" (den Referenzpunkt) aus.
Sie fragen die KI: „Wie vergleicht sich Wanderer A mit dem Anker? Wie vergleicht sich Wanderer B mit dem Anker? Wie vergleicht sich Wanderer C mit dem Anker?"
Dies tun sie für jeden Wanderer, einzeln nacheinander.
Das Ergebnis: Dies verwandelt einen riesigen, verwirrenden Haufen von Fragen in eine Reihe kleiner, überschaubarer Listen. Es ist, als würde man einen Lehrer bitten, eine Klasse zu benoten, indem er jeden Schüler einzeln mit dem „Durchschnitt der Klasse" vergleicht, anstatt zu versuchen, jeden Schüler gleichzeitig mit jedem anderen zu vergleichen.

3. Das „Abstimmungssystem": Umwandlung von Meinungen in eine Punktzahl

Nachdem die KI alle Paare beurteilt hat, hat sie eine Reihe von „Besser/Schlechter"-Meinungen. Wie wählt man den besten Wanderer aus?

Das System verwendet einen Abstimmungsmechanismus.
Wenn die KI sagt „Wanderer X ist besser als 90 % der Anker", erhält Wanderer X eine hohe Punktzahl.
Wenn Wanderer X schlechter ist als die meisten, erhält er eine niedrige Punktzahl.
Dies wandelt die „Meinungen" der KI in eine klare Rangliste um, sodass der Suchalgorithmus genau weiß, welche Wanderer für die teure, reale Überprüfung ausgesandt werden sollen.

4. Schulung des Richters: Bestärkendes Lernen (Der „Trainer")

Die Autoren haben nicht einfach eine generische KI verwendet; sie haben eine spezifische (basierend auf einem Modell namens Qwen2.5) trainiert, um ein Meister-Richter zu sein.

Sie schufen einen „Trainer" (Bestärkendes Lernen), der zusah, wie die KI Vermutungen anstellte.
Wenn die KI die Beziehung korrekt errat, gab der Trainer eine Belohnung. Wenn sie falsch lag, erhielt sie eine Strafe.
Im Laufe der Zeit lernte die KI, subtile Unterschiede zwischen Lösungen viel besser zu erkennen als eine generische KI.
Die Magie: Einmal trainiert, muss diese KI nicht jeden Tag neu trainiert werden. Sie kann einfach „nachdenken" (inferieren), während sie läuft. Dies spart eine enorme Menge an Zeit und Geld.

5. Der „Taschen"-Richter: Ausführung auf kleinen Geräten

Normalerweise benötigen leistungsstarke KI riesige, teure Supercomputer. Die Autoren zeigten, dass durch das Verkleinern des Modells und das Komprimieren seines „Gehirns" (ein Prozess namens Quantisierung) dieser kluge Richter auf kleinen, tragbaren Geräten wie einem High-End-Laptop oder sogar auf einem spezialisierten Chip, der in Drohnen oder Robotern verwendet wird (Edge-Geräte), laufen kann.

Das Fazit

Das Papier behauptet, dass durch die Umwandlung des Problems in eine Reihe einfacher „A gegen B"-Vergleiche, die Verwendung einer cleveren „Anker"-Methode, um die Fragen überschaubar zu halten, und das Training eines spezialisierten KI-Richters, sie die besten Lösungen für schwierige Probleme mit weit weniger teuren Tests finden können als frühere Methoden.

Es ist schneller: Kein Bedarf, die Karte jedes Mal neu zu zeichnen.
Es ist billiger: Die KI kann auf kleinerer, weniger teurer Hardware laufen.
Es funktioniert besser: In Tests fand diese Methode bessere Lösungen als andere Top-Methoden sowohl bei Einzelziel- als auch bei Mehrzielproblemen.

Die Autoren haben ihren „klugen Richter" und den Code für andere verfügbar gemacht und bewiesen, dass man keinen Supercomputer benötigt, um teure Optimierungsprobleme zu lösen, wenn man die richtigen Fragen stellt.

Technisches Fazit: R2SAEA – Relationales Reasoning mit LLMs in teurer Optimierung

Problemstellung
Teure Optimierungsprobleme (EOPs) zeichnen sich durch Black-Box-Zielfunktionen aus, bei denen Bewertungen kostspielig sind (z. B. physikalische Experimente, hochpräzise Simulationen) und Gradienten nicht verfügbar sind. Der primäre Engpass bei der Lösung von EOPs ist das begrenzte Bewertungsbudget. Während Surrogat-unterstützte evolutionäre Algorithmen (SAEAs) dies durch den Einsatz erlernter Modelle zur Vorauswahl von Kandidaten mildern, erfordern konventionelle Surrogate (Regression, Klassifikation oder Relationsmodelle) typischerweise ein häufiges Neutrainieren, während sich die Population entwickelt. Dieser „Trainieren-Vorhersagen"-Zyklus verursacht erheblichen Rechenaufwand, der die Effizienzgewinne der Surrogatunterstützung zunichtemachen kann. Zudem ist es zwar vielversprechend, dass Large Language Models (LLMs) in der Optimierung eingesetzt werden, doch der direkte Einsatz von State-of-the-Art-Modellen in evolutionären Schleifen ist aufgrund hoher Inferenzkosten und Latenz oft unpraktisch, während kleinere Modelle die spezifischen Reasoning-Fähigkeiten für eine zuverlässige Relationsinferenz nicht besitzen.

Methodik: R2SAEA
Die Arbeit schlägt R2SAEA (Reinforcement-trained relation-based LLM surrogate assisted evolutionary algorithm) vor, ein Framework, das den traditionellen Neutrainier-Zyklus durch einen reinen Inferenz-basierten, relationsbasierten Surrogatansatz ersetzt, der von einem feinabgestimmten LLM angetrieben wird. Die Methodik besteht aus drei Kernkomponenten:

Relationales Reasoning als In-Context-Learning:
Anstatt ein parametrisches Modell zu trainieren, wird die Surrogatmodellierung von Relationen als In-Context-Paar-Reasoning-Aufgabe formuliert. Das LLM wird aufgefordert, die relative Überlegenheit zwischen Lösungspaaren basierend auf einem Satz gelabelter Beispiele (Kontext) vorherzusagen. Zwei Hauptkriterien werden unterstützt:
- Funktionskriterium (C1): Binäre Kennzeichnung ( $+1/-1$ ) basierend auf der Überlegenheit des Zielfunktionswerts.
- Kriterium der Kategorie (C2): Ternäre Kennzeichnung ( $+1/0/-1$ ), die Inter-Klassen- (gut vs. schlecht) und Intra-Klassen-Beziehungen unterscheidet.
Ankerbasierte iterative Kontextkonstruktion:
Um die quadratische Komplexität von Paarvergleichen ( $O((n+q)^2)$ ) zu bewältigen, die die Kontextgrenzen überschreitet, führen die Autoren eine ankerbasierte iterative Strategie ein.
- Die Aufgabe wird in $n$ Inferenzrunden zerlegt, wobei jede existierende Lösung im Kontextset als fester „Anker" fungiert.
- Für jeden Anker erhält das LLM einen Prompt, der gelabelte Relationen zwischen dem Anker und anderen Kontextlösungen sowie ungelabelte Relationen zwischen dem Anker und Kandidatenlösungen enthält.
- Dies reduziert die Prompt-Komplexität pro Runde auf linear ( $O(n+q)$ ) und gewährleistet Stabilität und Skalierbarkeit.
Stimmbasierte Aggregation:
Das LLM gibt eine Matrix von Paarrelationen aus. Diese werden über einen Abstimmungsmechanismus in absolute Qualitätsbewertungen für die Kandidatenauswahl aggregiert:
- Für C1 ist die Bewertung die negative Summe der vorhergesagten Relationen (Zählen, wie viele Anker ein Kandidat schlägt).
- Für C2 wird eine normalisierte Bewertung berechnet, basierend darauf, wie oft Kandidaten von „guten" und „schlechten" Ankergruppen als „besser" oder „schlechter" eingestuft werden.
Feinabstimmung durch Reinforcement Learning (GRPO):
Um eine effiziente Zero-Shot-Einsatzfähigkeit ohne Neutrainieren pro Generation zu ermöglichen, wird ein kompaktes LLM (Qwen2.5-7B) mittels Group Relative Policy Optimization (GRPO) feinabgestimmt.
- Daten: Trainingspfade werden aus evolutionären Läufen auf Benchmark-Funktionen (LZG, CEC) generiert, wobei Instruktionspaare erstellt werden, bei denen die Ground Truth die tatsächliche Paarrelation ist.
- Belohnung: Eine regelbasierte Belohnungsfunktion bewertet die Einhaltung des JSON-Ausgabeformats, die Relationengenauigkeit und die Ausgabediversität (Bestrafung degenerierter Vorhersagen).
- Vorteil: GRPO eliminiert die Notwendigkeit eines separaten Kritiker-Modells und nutzt eine gruppenweise Belohnungsnormierung, um stabile Lernsignale für diskrete Relationslabels bereitzustellen.

Hauptbeiträge

Formulierung: Die Arbeit formuliert die relationsbasierte Surrogatmodellierung als In-Context-LLM-Reasoning-Problem unter den Kriterien C1 und C2 und führt einen ankerbasierten iterativen Prompt-Konstruktionsmechanismus ein, um die Kontextkomplexität von quadratisch auf linear zu reduzieren.
Aggregationsstrategie: Eine stimmbasierte Aggregationsstrategie wurde entwickelt, um vorhergesagte Paarrelationen in absolute Bewertungen für das Kandidaten-Ranking umzuwandeln, wodurch Standard-Selektionsoperatoren von SAEAs in der Lage sind, LLM-Ausgaben zu nutzen.
RL-Pipeline: Eine End-to-End-RL-Feinabstimmungspipeline wurde unter Verwendung evolutionärer Trajektorien und GRPO etabliert. Die resultierenden Modelle (ReLLM-C1/C2) zeigen eine überlegene Genauigkeit bei der Relationsvorhersage im Vergleich zu starken allgemeinen LLMs und ermöglichen einen Zero-Shot-Einsatz ohne Neutrainieren.
Leistung: Das Framework erzielt State-of-the-Art (SOTA)-Ergebnisse auf Benchmarks für teure Optimierung sowohl für Single-Objective (SOP) als auch Multi-Objective (MOP) Probleme und übertrifft klassische SAEAs (regressions-, klassifikations- und relationsbasiert) sowie allgemeine LLM-Baselines.

Experimentelle Ergebnisse

Optimierungsleistung: Auf Single-Objective-Benchmarks (LZG, YLL-Suiten) erreichte R2SAEA-SOP den besten mittleren Rang (2,69) unter sieben Algorithmen und übertraf relationsbasiertes DRSO in 22/45 Fällen sowie Bayesian Optimization in 23/45 Fällen. In Multi-Objective-Tests (DTLZ, WFG, MaF) belegte R2SAEA-MOP mit einem mittleren Rang von 2,84 den ersten Platz und übertraf signifikant klassifikationsbasierte (CPS-MOEA, CSEA) und regressionsbasierte (K-RVEA) Surrogate.
Relationsvorhersage: Offline-Evaluierungen zeigten, dass die RL-feinabgestimmten ReLLM-Modelle ihre vor-Feinabstimmung-Basismodelle und State-of-the-Art-allgemeine LLMs (einschließlich GPT-4o, Gemini-2.5-Pro und Qwen3-235B) in der Genauigkeit der Paarrelationen und der Konsistenz des Rankings (Spearman's $\rho$ ) signifikant übertrafen. Bemerkenswerterweise lieferten allgemeine LLMs oft nahezu null oder negative Korrelationen und scheiterten daran, ohne aufgabenspezifisches Training sinnvolle Rankings zu erzeugen.
Skalierbarkeit und Robustheit: Das Modell zeigte Robustheit gegenüber Verschiebungen in der Dimensionalität des Entscheidungsraums ( $D \in \{5, 10, 30\}$ ) und der Kontextgröße. Eine lokale (Prompt-Ebene-) Normalisierung erwies sich für die relationale Inferenz als überlegen gegenüber einer globalen Normalisierung.
Einsatz: Quantisierte Varianten (4-Bit und 8-Bit) eines 3-Milliarden-Parameter-Modells behielten eine hohe Genauigkeit bei und ermöglichten eine effiziente Inferenz auf Edge-Geräten (z. B. Jetson Orin NX), was ein praktisches hardwarenahes Surrogat-Paradigma unterstützt.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass R2SAEA die Lücke zwischen dem hohen Reasoning-Potenzial von LLMs und den strengen Effizienzanforderungen teurer Optimierung schließt. Durch den Wechsel vom Paradigma „Trainieren-Vorhersagen" zu einem Paradigma „Nur-Inferenz" eliminiert die Methode den Overhead des häufigen Neutrainierens von Surrogaten. Die Autoren betonen, dass ihr Ansatz ein Zero-Shot-Surrogat-Paradigma bietet, bei dem ein einziges, spezialisiertes Modell in evolutionäre Schleifen eingebettet werden kann, ohne weitere Anpassungen vorzunehmen. Die Arbeit stellt die erste explizite Feinabstimmung von LLMs speziell für die surrogat-unterstützte evolutionäre Optimierung dar und bietet einen machbaren Weg hin zu hardwarefreundlicher, Echtzeit-Optimierung in ressourcenbeschränkten Umgebungen.