MultiGA: Leveraging Multi-Source Seeding in Genetic Algorithms

1. Problemstellung

Die Leistungsfähigkeit von Large Language Models (LLMs) variiert erheblich je nach Trainingsdaten, Architektur und Feinabstimmung (z. B. RLHF oder RLAIF). Kein einzelnes Modell beherrscht alle Aufgaben gleichermaßen gut, was zu Inkonsistenzen in komplexen Reasoning-Aufgaben führt. Bestehende Ansätze wie Self-Refine oder LLM-as-a-Judge nutzen oft nur ein einziges Modell für Generierung und Bewertung, was die Lösungsräume einschränkt und die Abhängigkeit von einem spezifischen Modell-Ökosystem erhöht.

Das zentrale Problem ist die Unsicherheit bei der Modellauswahl für neue, interdisziplinäre Aufgaben: Welches Modell ist das beste? Ein einzelnes Modell kann suboptimal sein, während der manuelle Vergleich aller Modelle ressourcenintensiv ist. Es fehlt ein Framework, das die komplementären Stärken verschiedener Modelle nutzt, um robuste und hochwertige Lösungen zu generieren, ohne sich auf ein einzelnes „State-of-the-Art"-Modell zu verlassen.

2. Methodik: MultiGA Framework

MultiGA (Multi-Source Genetic Algorithm) ist ein Optimierungsframework, das Prinzipien evolutionärer Algorithmen auf LLMs anwendet. Der Kernansatz besteht darin, die initiale Population nicht zufällig oder aus einem einzigen Modell zu generieren, sondern durch „Multi-Source Seeding" aus einer heterogenen Gruppe von LLMs.

Der Prozess läuft wie folgt ab:

• Initialisierung (Population Seeding):
  Anstatt nur ein Modell zu verwenden, werden die initialen Kandidatenlösungen ($P_0$) durch parallele Abfragen mehrerer unterschiedlicher Generator-LLMs ($G = \{g_1, ..., g_m\}$) erzeugt. Dies erweitert den Suchraum und nutzt die unterschiedlichen Induktionsverzerrungen der Modelle.
• Evaluation (Fitness-Bewertung):
  Ein unabhängiger Evaluierungs-LLM ($E$), der aus einer anderen Modellfamilie stammt als die Generatoren, bewertet jede Kandidatenlösung.
  • Die Bewertung erfolgt in zwei Phasen: Zuerst ein deterministischer Abgleich mit Ground-Truth (falls vorhanden), gefolgt von einer semantischen Bewertung durch den LLM-as-a-Judge.
  • Der Score liegt im Bereich $[0, 1]$, wobei 1 eine perfekte Lösung darstellt.
• Selektion:
  Lösungen unter einem Schwellenwert $\tau$ werden aussortiert („retired"). Die Top-$k$-Lösungen werden als Eltern für die nächste Generation ausgewählt.
• Rekombination (Crossover):
  Anstelle von token-basierten Crossover-Operationen nutzt MultiGA den Evaluierungs-LLM ($E$) als Rekombinations-Engine. $E$ erhält zwei Elternlösungen und die Aufgabenstellung und synthetisiert eine neue „Kind"-Lösung, die die Stärken beider Eltern integriert und deren Schwächen korrigiert. Dies ermöglicht eine semantische Rekombination statt einer bloßen Zeichenketten-Manipulation.
• Terminierung:
  Der Prozess wiederholt sich über $T$ Generationen oder bis eine Ziel-Fitness $\phi$ erreicht ist.

3. Wichtige Beiträge

1. MultiGA Framework: Ein neuartiger genetischer Optimierungsansatz, der durch Multi-Source-Seeding und einen neutralen, unabhängigen Evaluierungs-LLM eine robuste Lösungssuche ermöglicht.
2. Empirische Validierung: Das Framework reduziert die Abhängigkeit von einzelnen Modellen. In drei von vier getesteten Benchmarks übertraf eine MultiGA-Konfiguration, die primär auf Open-Source-Modellen basierte, eine Variante, die nur mit GPT-5 initialisiert wurde (unter Verwendung desselben Evaluators).
3. Grundlage für zukünftige Forschung: Die Arbeit zeigt, wie Ensembles aus heterogenen Modellen (Open-Source und proprietär) genutzt werden können, um Leistungsschwankungen auszugleichen und robuste Ergebnisse in interdisziplinären Domänen zu erzielen.

4. Ergebnisse und Experimente

Die Autoren evaluierten MultiGA auf vier verschiedenen Benchmarks:

• Text-to-SQL (DSQL): MultiGA erreichte eine Genauigkeit von 0,705 (auf 200 Testzeilen), was signifikant über dem GPT-4-Baseline-Wert (0,478) und dem TA + GPT-4o-Ansatz (0,630) liegt. Ein rein mit GPT-5 initialisierter Ansatz schnitt mit 0,585 schlechter ab, was die Überlegenheit der Diversität unterstreicht.
• Meeting Planning (DNATPLAN): Hier erzielte eine Single-Seed-Konfiguration (nur GPT-5) die besten Ergebnisse (0,95), da die Aufgabe für dieses Modell bereits optimal lösbar war. MultiGA (GA-Konfiguration) erreichte 0,88 und lag dennoch über den Few-Shot-Baselines. Dies deutet darauf hin, dass der Vorteil von MultiGA bei komplexeren, mehrstufigen Aufgaben (wie SQL) größer ist als bei Aufgaben, die ein einzelnes Modell bereits perfekt beherrscht.
• Wissenschaftliche Fragen (GPQA): Auf dem Diamond-Subset erreichte die MultiGA-Konfiguration (GA) eine Genauigkeit von 0,959, was den Gemini 3 Pro-Baseline (0,917) und die GPT-5-basierte Variante (0,919) übertrifft. Dies beweist, dass Open-Source-Modelle in Kombination mit einem starken Evaluators wettbewerbsfähige Ergebnisse liefern können.
• Bias-Evaluation (BBQ): MultiGA zeigte eine hohe Genauigkeit (0,966), wobei jedoch festgestellt wurde, dass die Aggregation schwächerer Seed-Modelle in einigen Fällen die Robustheit bei Fairness-Tests beeinträchtigen kann. Der Evaluators (Qwen3) war effektiv beim Ausfiltern verzerrter Ausgaben, aber nicht perfekt in der Korrektur aller Fehler.

Token-Effizienz: MultiGA benötigt für die Optimierung nur zwei bezahlte Modellaufrufe (für die initiale Population), während der Rest des Prozesses über Open-Source-Modelle oder weniger teure Konfigurationen läuft.

5. Bedeutung und Fazit

MultiGA adressiert das kritische Problem der Modellauswahl in einer Landschaft mit zahlreichen LLMs. Es zeigt, dass:

• Diversität Robustheit schafft: Die Kombination verschiedener Modelle führt zu stabileren Ergebnissen als die Abhängigkeit von einem einzelnen, teuren Modell.
• Inferenzzeit-Optimierung möglich ist: Durch iterative Verfeinerung und semantische Rekombination können Lösungen verbessert werden, ohne dass ein neues Training (Fine-Tuning) notwendig ist.
• Kosten-Nutzen-Verhältnis: Es ist möglich, State-of-the-Art-Ergebnisse zu erzielen, ohne den gesamten Pipeline-Prozess auf teure proprietäre Modelle zu stützen.

Das Framework bietet einen systematischen Weg, um hochwertige Lösungen zu generieren, selbst wenn nicht im Voraus bekannt ist, welches einzelne Modell für eine spezifische Aufgabe am besten geeignet ist. Zukünftige Arbeiten könnten dynamische Seeding-Strategien oder die Erweiterung auf komplexe Multi-Agenten-Workflows untersuchen.