🤖 machine learning

Convergence Theory for Iterative LLM-Based Neural Architecture Search: A Parametric Cross-Entropy Framework with Closed-Form Proxy Reliability

Dieser Artikel stellt die erste formale Konvergenztheorie für iterative, auf LLMs basierende neuronale Architektursuche auf, indem er sie als parametrische Cross-Entropy-Methode modelliert, eine monotone Qualitätsverbesserung und geometrische Konvergenz nachweist und gleichzeitig eine geschlossene Näherungsformel für eine Zuverlässigkeitsmetrik herleitet, die empirische Leistungsobergrenzen erklärt.

Ursprüngliche Autoren: Santosh Premi Adhikari, Radu Timofte, Dmitry Ignatov

Veröffentlicht 2026-05-29

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Santosh Premi Adhikari, Radu Timofte, Dmitry Ignatov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr klugen, aber etwas ungeschickten Roboter-Koch beizubringen, ein perfektes neues Rezept zu erfinden. Sie geben dem Koch kein Kochbuch; stattdessen lassen Sie den Koch versuchen, Rezepte von Grund auf neu zu schreiben, sie zu probieren und dann aus denjenigen zu lernen, die am besten schmecken. Das ist im Wesentlichen das, was die Arbeit als Neural Architecture Search (NAS) mit Large Language Models (LLMs) bezeichnet.

Bisher hatte jedoch niemand einen mathematischen Beweis, der garantiert, dass diese „Versuchen, Probieren und Lernen"-Schleife im Laufe der Zeit tatsächlich besser wird, oder warum bestimmte Tricks (wie das Schreiben nur der Änderungen an einem Rezept anstelle des gesamten Rezepts) so gut funktionieren.

Diese Arbeit liefert die fehlende Mathematik. Hier ist die Aufschlüsselung ihrer Erkenntnisse unter Verwendung einfacher Analogien:

1. Die Kernidee: Der „Elite-Koch"-Club

Die Autoren erkannten, dass der Prozess, bei dem eine KI Code generiert, ihn testet und sich dann auf den besten Ergebnissen neu trainiert, mathematisch identisch mit einer berühmten Optimierungsstrategie ist, die als Cross-Entropy-Methode bekannt ist.

Die Analogie: Stellen Sie sich einen Kochwettbewerb vor. Jede Woche reichen 100 Köche Gerichte ein. Sie probieren sie, wählen die Top 10 aus und sagen dann der nächsten Generation von Köchen: „Kochen Sie nur wie diese 10 Personen."
Die Behauptung der Arbeit: Sie bewiesen, dass, wenn eine KI dies tut (d. h. sich selbst auf ihrem besten Code feinabstimmt), sie mathematisch garantiert in die richtige Richtung wandert. Die durchschnittliche Qualität der „Gerichte" (KI-Architekturen) wird niemals schlechter; sie bleibt entweder gleich oder wird besser.

2. Der „Delta"-Trick: Bearbeiten vs. Umschreiben

Vorherige Forschung zeigte, dass es oft scheitert, wenn die KI jedes Mal ein neues Rezept von Grund auf neu schreibt (der Code bricht). Wenn die KI jedoch nur die Änderungen (Deltas) zu einem bestehenden guten Rezept schreibt, gelingt es ihr viel häufiger.

Die Analogie: Stellen Sie sich vor, Sie schreiben einen 50-seitigen Roman. Wenn Sie das ganze Buch jedes Mal neu schreiben müssen, wenn Sie einen Tippfehler korrigieren wollen, werden Sie wahrscheinlich irgendwo einen neuen Fehler machen. Wenn Sie jedoch nur einen Haftnotiz schreiben mit „Seite 3, Zeile 5 ändern", ist es viel schwieriger, etwas falsch zu machen.
Die Behauptung der Arbeit: Sie modellierten die Fehler der KI als Kettenreaktion (wie ein Tippfehler, der einen weiteren Tippfehler verursacht). Sie bewiesen mathematisch, dass, da „Deltas" kürzer sind, die Wahrscheinlichkeit, dass das Ganze zusammenbricht, signifikant geringer ist. Ihre Mathematik sagte voraus, dass die Erfolgsrate mehr als verdoppelt würde, und obwohl der Realwelttest etwas niedriger ausfiel, bestätigte er die Richtung: Kürzere Bearbeitungen sind sicherer.

3. Verhinderung von „Gruppendenken" (Mode Collapse)

Ein häufiges Problem bei KI ist, dass sie in einer Schleife stecken bleibt und immer wieder genau dieselbe „gute" Lösung generiert und dabei andere großartige Möglichkeiten verpasst. Dies wird als „Mode Collapse" bezeichnet.

Die Analogie: Stellen Sie sich einen Buchklub vor, der nur dieselben drei Bücher liest, weil sie die „besten" sind. Sie hören auf, neue Geschichten zu entdecken.
Die Behauptung der Arbeit: Die Forscher verwendeten einen „Novelty Filter" (eine mathematische Prüfung, um festzustellen, ob ein neues Rezept wirklich anders ist als die alten). Sie bewiesen, dass solange dieser Filter aktiv ist, die KI nicht in einer Schleife stecken bleibt. Sie ist mathematisch gezwungen, weiterhin neue, einzigartige Ideen zu erkunden, was verhindert, dass sie zu einer kaputten Schallplatte wird.

4. Das Problem des „verrauschten Ohrs" (Proxy-Zuverlässigkeit)

In diesem Prozess wartet die KI nicht auf einen vollständigen, perfekten Geschmackstest (der Tage dauert). Sie verwendet einen „Proxy"-Geschmackstest (ein schneller 1-Minuten-Taste), um zu erraten, ob ein Rezept gut ist. Das Problem ist, dass der schnelle Geschmackstest aufgrund von Rauschen falsch sein könnte.

Die Analogie: Stellen Sie sich vor, Sie versuchen, das Talent eines Sängers zu beurteilen, indem Sie einen 5-Sekunden-Clip auf einem schlechten Telefon hören. Wenn der Sänger fantastisch ist, klingt der 5-Sekunden-Clip normalerweise gut. Aber wenn das Telefon sehr verrauscht ist, könnten Sie denken, ein schlechter Sänger sei gut, oder ein guter Sänger sei schlecht.
Die Behauptung der Arbeit: Sie erstellten eine Formel, um genau zu berechnen, wie viel „Rauschen" in Ihrem schnellen Test enthalten ist. Sie fanden einen „Deckeneffekt": Wenn der schnelle Test im Vergleich zur tatsächlichen Qualität der Rezepte zu verrauscht ist, hört die KI auf, effektiv zu lernen.
- Realwelt-Ergebnis: Sie testeten drei verschiedene KI-Modelle (Mistral, Qwen, DeepSeek). Die Mathematik sagte voraus, dass Mistral am zuverlässigsten sein würde, weil sein „Signal" (gute Rezepte) viel stärker war als das „Rauschen". Die Experimente bestätigten dies: Mistrals schnelle Tests stimmten perfekt mit den langen Tests überein, während die anderen zu verrauscht waren, um ihnen zu vertrauen.

5. Der „Decken"-Realitätscheck

Die Arbeit gibt zu, dass, obwohl die Mathematik besagt, dass die KI schließlich die perfekte Lösung finden sollte, sie in der realen Welt auf eine „Decke" stößt.

Die Analogie: Stellen Sie sich vor, die KI klettert einen Berg hinauf. Die Mathematik sagt voraus, dass sie den Gipfel erreichen sollte. Aber da die KI eine spezifische, leichte Trainingsmethode verwendet (LoRA genannt), ist es, als würde sie mit einem schweren Rucksack klettern. Sie kommt sehr hoch (etwa 73–76 % des Weges nach oben), kann aber nicht ganz ganz nach oben gelangen.
Die Behauptung der Arbeit: Sie erklären, warum die KI nach einer Weile aufhört, sich zu verbessern. Sie ist nicht kaputt; es ist nur so, dass der „Rucksack" (die leichte Trainingsmethode) begrenzt, wie hoch sie klettern kann.

Zusammenfassung

Diese Arbeit ist das „Regelbuch" für eine neue Art, KI zu verwenden, um andere KIs zu entwerfen. Sie beweist, dass:

Der Prozess immer besser wird (oder stabil bleibt).
Das Bearbeiten von Code sicherer ist als sein Umschreiben.
Das Prüfen auf Neuheit verhindert, dass die KI gelangweilt wird und sich wiederholt.
Es eine mathematische Grenze gibt, wie sehr man einem schnellen Test vertrauen kann, und sie haben herausgefunden, wie man sie misst.

Sie testeten diese Regeln gegen reale Experimente, und obwohl die Zahlen nicht immer perfekt übereinstimmten (aufgrund der Unordnung der realen Welt), war die Richtung der Ergebnisse genau das, was ihre Mathematik vorhergesagt hatte.

Technische Zusammenfassung: Konvergenztheorie für iterative LLM-basierte neuronale Architektursuche

1. Problemstellung

Die neuronale Architektursuche (NAS) hat sich kürzlich von vordefinierten Suchräumen hin zur Verwendung von Large Language Models (LLMs) als offen endliche Generatoren ausführbarer torch.nn.Module-Programme gewandelt. Während empirische Studien (z. B. Khalid et al., Adhikari et al.) zeigen, dass das iterative Feinabstimmen eines LLM auf seinen eigenen erfolgreichen Generationen sowohl die Zuverlässigkeit der Generierung als auch die Qualität der Architekturen verbessert, existiert keine formale Konvergenztheorie für diese Klasse von Algorithmen.

Zu den behandelten theoretischen Lücken gehören:

Führt das iterative Feinabstimmen von LLMs nachweislich zu einer Verbesserung der Architekturqualität?
Unter welchen Bedingungen konvergiert der Prozess?
Warum erreicht die „Delta-Generierung" (Generieren von Unified Diffs) höhere Raten valider Generationen als die Generierung vollständigen Codes?
Welche theoretische Rolle spielt das Novelty-Filtering bei der Verhinderung degenerierter Lösungen (Mode Collapse)?
Wie lässt sich die Zuverlässigkeit von Rankings auf Proxy-Basis (unter Verwendung kurzer Trainingsphasen) quantifizieren?

2. Methodik und mathematischer Rahmen

Die Autoren modellieren die iterative LLM-NAS als parametrische Cross-Entropy (CE)-Methode über ausführbare Programme. Der Rahmen stellt eine formale Verbindung zwischen dem LLM-Feinabstimmungsprozess und dem gut untersuchten CE-Optimierungsalgorithmus her.

Kern-Definitionen

Architekturraum ( $\mathcal{A}$ ): Die Menge der syntaktisch gültigen, ausführbaren Python-Programme, die ein torch.nn.Module definieren.
Qualitätsfunktion ( $q$ ): Ordnet einer Architektur ihre Validierungsgenauigkeit im ersten Epoch auf einem festen Datensatz zu.
Elite-Menge ( $E_\tau$ ): Architekturen, bei denen $q(a) \geq \tau$ gilt.
Iterativer Prozess:
1. Generieren: Stichprobe von $N$ Kandidaten aus der aktuellen LLM-Verteilung $p_{\theta_t}$ .
2. Bewerten und Filtern: Auswahl der Elite-Architekturen, die einen MinHash–Jaccard-Novelty-Filter bestehen.
3. Aktualisieren: Feinabstimmung der LLM-Parameter $\theta$ unter Verwendung der Vereinigung der Elite-Menge und des statischen Korpus (Minimierung des Cross-Entropy-Verlusts).

Theoretische Annahmen

Die Beweise beruhen auf spezifischen Annahmen, insbesondere:

Regelmäßigkeit: Begrenzte Qualität, positive Anfangsmasse von Elite-Architekturen und konsistente Schätzung, wenn die Stichprobengröße wächst.
Qualitäts-monotone Projektion: Die CE-Projektion auf die parametrische Familie (LLM) erhält oder verbessert die mittlere Qualität der Verteilung.
Token-Fehler-Modell: Ein Markov-Ketten-Modell erster Ordnung für Token-Fehler (als Ersatz für die Annahme unabhängiger Token), um Delta- gegenüber Vollcode-Generierung zu analysieren.
Proxy-Zuverlässigkeit: Annahme einer bivariaten Normalverteilung zwischen Proxy (kurzes Training) und Genauigkeit nach vollständigem Training.

3. Hauptbeiträge und theoretische Ergebnisse

Die Arbeit beweist sechs Hauptergebnisse:

A. Äquivalenz zur parametrischen CE (Satz 1)

Das iterative Feinabstimmen von LLMs auf Elite-Architekturen ist mathematisch äquivalent zur Cross-Entropy-Aktualisierung, die auf die parametrische Familie des LLM beschränkt ist. Der Feinabstimmungsschritt minimiert die Kullback–Leibler-Divergenz (KL) zwischen der empirischen Verteilung der Elite-Stichproben und der Generierungsverteilung des LLM.

B. Monotone Qualitätsverbesserung (Satz 2)

Unter den genannten Annahmen ist die erwartete Architekturqualität ( $Q_t$ ) über die Zyklen hinweg monoton nicht-abnehmend, bis auf einen Term für den Schätzfehler endlicher Stichproben $\epsilon_t = O(N^{-1/2})$ .

C. Konvergenz zu einem Fixpunkt (Satz 3 & Korollar 4)

Die Wahrscheinlichkeit, eine Elite-Architektur zu generieren ( $C_t$ ), konvergiert mit einer geometrischen Rate zu einem Fixpunkt $C^*$ : $C_t \geq 1 - (1 - \rho_0)^t$ .
LoRA-Einschränkung: Wenn das LLM über LoRA (Low-Rank Adaptation) angepasst wird, ist die Ausdruckskraft der parametrischen Familie eingeschränkt. Folglich konvergiert der Prozess zu einem Plateau $C^* \leq 1$ statt zu 1, was empirische Beobachtungen von Leistungsobergrenzen erklärt.

D. Vorteil der Delta-Generierung (Satz 5 & Korollar 6)

Unter Verwendung eines Markov-Token-Fehlermodells erster Ordnung beweisen die Autoren, dass die Delta-Generierung (Generieren von Diffs) eine streng höhere Rate valider Generationen erreicht als die Generierung vollständigen Codes.

Das Verhältnis der Validierungsraten hängt vom Reduktionsfaktor $\alpha$ für die Ausgabelänge ab (wobei $L_\delta = \alpha L_{full}$ ).
Die Theorie sagt ein Verhältnis $> 1$ voraus, mit einer kalibrierten Vorhersage von $\approx 2,23$ unter spezifischen Parametern, obwohl empirische Ergebnisse ein Verhältnis von $1,41$ zeigten (was die Richtung bestätigt, aber die Größe aufgrund nicht modellierter Korrelationen über große Distanzen unterschreitet).

E. Verhinderung von Mode Collapse (Satz 7)

Die Anwendung eines MinHash–Jaccard-Novelty-Filters stellt sicher, dass das Korpus „getrennt" bleibt. Theoretisch verhindert dies, dass das LLM auf eine einzige Architektur kollabiert (Mode Collapse), und erhält eine von Null verschiedene Entropie in der Generierungsverteilung aufrecht.

F. Geschlossene Formel für Proxy-Zuverlässigkeit (Satz 8)

Die Arbeit leitet eine geschlossene Formel für den Zusammenhang zwischen dem Signal-zu-Rausch-Verhältnis (SNR) der Proxy-Aufgabe und der Spearman-Rangkorrelation ( $\rho_S$ ) zwischen Proxy- und Volltrainings-Rankings ab:
$\rho_S = \frac{6}{\pi} \arcsin\left(\frac{\rho_P(SNR)}{2}\right)$
wobei $\rho_P(SNR) = (1 + SNR^{-1})^{-1/2}$ .

Diagnose: Eine notwendige Bedingung für vertrauenswürdige Proxy-basierte Rankings ist $\sigma^2_{arch} \gg \sigma^2_{noise}$ (hohe Architekturvarianz im Verhältnis zum Rauschen).
Plateau-Effekt: Die Theorie erklärt, warum die Proxy-Zuverlässigkeit bei niedrigem SNR ein Plateau erreicht (z. B. in Datensätzen mit geringer architektonischer Vielfalt).

4. Empirische Validierung

Die Autoren testeten diese Theorien gegen ein 22-Zyklus-Experiment, das drei LLMs (Mistral, Qwen, DeepSeek) und 3.300 generierte Architekturen umfasste.

Konsistente quantitative Vorhersagen:
- Monotone Qualität: Der geglättete Trend der mittleren Qualität war für alle Modelle nicht-abnehmend.
- Neuartigkeit: Neuartige Architekturen wurden in jedem Zyklus zugelassen, was einen Mode Collapse verhinderte.
Konsistenz der Wirkungsrichtung:
- Elite-Konzentration: Die Konzentration $C_t$ plateauierte bei 73–76 %, was mit der LoRA-Ausdrucksfähigkeits-Obergrenze übereinstimmt (Konvergenz zu $C^* < 1$ ).
- Proxy-Zuverlässigkeit: Die Reihenfolge der Spearman-Korrelationen (Mistral > Qwen > DeepSeek) entsprach perfekt dem SNR-Ranking. DeepSeek zeigte eine nicht-signifikante Korrelation, was den Vorhersagen bei niedrigem SNR entspricht.
Abweichungen:
- Delta-Raten-Verhältnis: Das beobachtete Verhältnis (1,41) war niedriger als die kalibrierte theoretische Vorhersage (2,23), was auf Format-ungültige Diffs und Korrelationen jenseits des Markov-Modells erster Ordnung zurückgeführt wird.
- Qwen-Korrelation: Die beobachtete Spearman-Korrelation (0,635) übertraf die Vorhersage der bivariaten Normalverteilung (0,10) aufgrund einer Abschneidung durch Genauigkeits-Obergrenzen, eine Einschränkung, die von den Autoren notiert wurde.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, die ersten formalen Konvergenzgarantien für iterative LLM-basierte NAS zu liefern. Ihre Bedeutung liegt in:

Theoretische Vereinheitlichung: Identifizierung von LLM-NAS als parametrische CE-Methode, was die Anwendung etablierter Konvergenztheorien der Optimierung ermöglicht.
Erklärung empirischer Phänomene: Bereitstellung mathematischer Begründungen dafür, warum Delta-Generierung besser funktioniert und warum Leistungsobergrenzen bei LoRA auftreten.
Diagnosewerkzeug: Angebot einer geschlossenen Formel zur Diagnose der Zuverlässigkeit von Proxy-basierten Architektur-Rankings basierend auf SNR, was zuvor beobachtete, aber unerklärte „Plateau-Effekte" erklärt.

Die Autoren bleiben bescheiden und stellen fest, dass ihre empirische Validierung auf einem einzigen bestehenden Datensatz beruht und dass die theoretischen Schranken für LoRA-adaptierte Modelle (Konvergenz zu $C^* < 1$ ) von Ausdruckfähigkeitsannahmen abhängen, die analytisch schwer zu verifizieren sind. Als zukünftige Arbeit wird die Erweiterung der Konvergenzraten auf Low-Rank-Einschränkungen und die Behandlung abgeschnittener Genauigkeitsunterstützungen identifiziert.