🤖 machine learning

EVA-0: Test-Time Model Evolution with Only Two Forward Passes per Sample

EVA-0 ist ein minimaler Anpassungsrahmen nullter Ordnung, der eine effiziente Evolution von Modellen zur Testzeit ermöglicht, indem er pro Stichprobe lediglich zwei Vorwärtsdurchläufe erfordert, wesentliche Optimierungsprobleme ohne Backpropagation überwindet und damit eine überlegene Leistung sowie erhebliche Geschwindigkeitssteigerungen gegenüber bestehenden Methoden erzielt.

Ursprüngliche Autoren: Guohao Chen, Shuaicheng Niu, Geng Li, Yunbei Zhang, Shilin Shan, Chunyan Miao, Jianfei Yang

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Guohao Chen, Shuaicheng Niu, Geng Li, Yunbei Zhang, Shilin Shan, Chunyan Miao, Jianfei Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen hochtrainierten KI-Assistenten, ähnlich einer intelligenten Navigations-App, der darauf trainiert wurde, perfekt auf sonnigen, klaren Autobahnen zu fahren. Doch nun haben Sie ihn in einer chaotischen Stadt eingesetzt, wo es plötzlich zu regnen beginnt, die Straßen mit Schnee bedeckt sind und die Schilder verschwommen erscheinen.

Die meisten KI-Systeme sind „eingefroren", sobald sie das Labor verlassen. Sie können nicht aus diesen neuen, unordentlichen Bedingungen lernen. Um sie zu reparieren, müssen Ingenieure das Fahrzeug normalerweise zurückrufen, es in einer riesigen Garage neu trainieren (unter Verwendung von Backpropagation, was wie ein schwerer, teurer und speicherintensiver Prozess ist), und es dann wieder hinausschicken. Dies ist langsam, teuer und für kleine Geräte wie eine Smartwatch oder eine Drohne unmöglich.

Einige neuere Methoden versuchen, der KI zu ermöglichen, im laufenden Betrieb zu lernen, ohne dieses schwere Neu-Training. Doch sie erfordern oft, dass die KI dasselbe Problem dutzende Male „denkt", um die richtige Richtung zu finden, was für den Echtzeiteinsatz immer noch zu langsam ist.

Hier kommt EVA-0 ins Spiel: Das „Zwei-Raten"-Genie

Die Autoren dieses Papiers schlagen eine neue Methode namens EVA-0 vor. Ihre große Idee ist einfach, aber mächtig: Kann eine KI effektiv lernen und sich anpassen, indem sie ein Problem nur zweimal betrachtet?

Sie sagen „Ja". So haben sie es mit einigen kreativen Analogien zum Funktionieren gebracht:

1. Das Problem: Die „Abkürzung"-Falle

Stellen Sie sich vor, Sie versuchen, Gewicht zu verlieren (die KI zu verbessern).

Die Abkürzung: Sie könnten einfach ganz mit dem Essen aufhören. Die Waage (die Verlustfunktion) wird Ihnen sofort zeigen, dass Sie Gewicht verlieren, aber Sie werden nicht wirklich gesünder; Sie verhungern nur. In KI-Terminologie findet das Modell eine „Abkürzung", bei der es eine gute Antwort vortäuscht, indem es seine Konfidenzwerte riesig macht, anstatt das Bild tatsächlich zu verstehen.
Die EVA-0-Lösung: Die Autoren haben einen speziellen „Diätplan" (ein skaleninvariantes Ziel) entwickelt, der verhindert, dass die KI betrügt. Es zwingt die KI, tatsächlich die richtigen Merkmale zu lernen, und nicht nur ihre Konfidenzwerte aufzublähen, um gut auszusehen.

2. Das Problem: Sich verirren (Gewichtsdrift)

Stellen Sie sich vor, Sie wandern in einem nebligen Wald. Wenn Sie zufällige Schritte unternehmen, um den Weg zu finden, könnten Sie versehentlich Meilen vom Pfad entfernt wandern. In der KI können zufällige „Raten", um Verbesserungen zu erzielen, dazu führen, dass das Modell so weit von seinem ursprünglichen Training abweicht, dass es alles vergisst, was es wusste.

Die EVA-0-Lösung: Sie führten einen Anker ein. Stellen Sie sich dies als ein festes Seil vor, das an einem Baum am Wegesbeginn festgebunden ist. Die KI darf wandern und erkunden, um den neuen Weg zu finden, aber das Seil zieht sie sanft zurück, wenn sie beginnt, sich zu weit zu verirren. Dies hält die KI stabil, während sie dennoch lernen kann.

3. Das Problem: Die Richtung raten

Normalerweise, um zu wissen, in welche Richtung man gehen soll, könnte man versuchen, vorwärts zu gehen, zu sehen, ob es besser ist, dann rückwärts zu gehen und zu vergleichen.

Der alte Weg: Einige Methoden verwenden eine „einseitige" Schätzung (nur vorwärts gehen und hoffen). Dies ist verrauscht und unzuverlässig.
Die EVA-0-Trick: Sie verwenden einen symmetrischen zweiseitigen Ansatz. Sie bitten die KI, das Problem zweimal zu betrachten: einmal mit einer winzigen „Stoß" nach links und einmal mit einer winzigen „Stoß" nach rechts.
- Die Magie: Durch das Mitteln der Ergebnisse dieser beiden Stöße erhalten sie ein sehr klares Bild davon, was die Antwort ohne jegliche Stöße gewesen wäre (damit sie eine Vorhersage treffen können).
- Die Effizienz: Durch den Vergleich der Differenz zwischen dem Links-Stoß und dem Rechts-Stoß ermitteln sie genau, in welche Richtung sie sich bewegen müssen, um sich zu verbessern.
- Das Ergebnis: Sie erhalten sowohl eine Vorhersage als auch ein Lernsignal aus genau denselben zwei Blicken. Keine zusätzlichen Schritte erforderlich.

Warum dies wichtig ist

Das Papier testete dies an Bildern, die beschädigt waren (unscharf, verrauscht, verschneit), unter Verwendung von zwei Arten von KI-Modellen (ViT und ResNet).

Geschwindigkeit: Es ist 14-mal schneller als frühere „ohne Backpropagation"-Methoden, da es nicht 28-mal raten muss wie die alten Methoden; es rät nur zweimal.
Speicher: Es verwendet einen winzigen Bruchteil des Speichers (ca. 822 MB gegenüber 5 GB bei anderen Methoden), was bedeutet, dass es auf kleinen Edge-Geräten wie Handys oder Sensoren laufen kann.
Leistung: Es funktioniert tatsächlich besser als einige Methoden, die das schwere, teure Backpropagation verwenden, und es ist die erste Methode, die dies tut, ohne dass „Quelldaten" benötigt werden (sie lernt rein aus der chaotischen neuen Welt).

Kurz gesagt: EVA-0 ist eine Möglichkeit, einer KI zu ermöglichen, in Echtzeit aus ihren Fehlern zu lernen, indem sie das Problem nur mit zwei schnellen Blicken betrachtet, ohne sich zu verirren, ohne zu betrügen und ohne einen Supercomputer dafür zu benötigen. Es verwandelt ein „eingefrorenes" Modell in ein „lebendiges", das sich in Echtzeit an die reale Welt anpassen kann.

Technische Zusammenfassung: EVA-0

Problemstellung

Moderne KI-Modelle werden zunehmend in dynamischen Umgebungen eingesetzt, die Verteilungsverschiebungen unterliegen (z. B. Sensorvariationen, sich änderndes Nutzerverhalten). Während Test-Time Adaptation (TTA) darauf abzielt, Modellen zu ermöglichen, aus ungelabelten Testzeit-Erfahrungen zu lernen, stützen sich die meisten bestehenden Methoden auf Backpropagation (BP). BP verursacht einen erheblichen Speicher-Overhead, was sie mit ressourcenbeschränkten Edge-Geräten, quantisierten Modellen, spezialisierten Beschleunigern oder Black-Box-Modell-Szenarien inkompatibel macht.

Neuere Bemühungen haben BP-freie TTA unter Verwendung von Nullter-Ordnung (ZO)-Optimierung untersucht. Allerdings stoßen bestehende ZO-Methoden auf erhebliche Einschränkungen:

Effizienz vs. Leistung: Methoden wie FOA erfordern viele Forward-Passes (z. B. 28) für stabile Signale, während Methoden wie ZOA, die unter einem strikten Budget von zwei Forward-Passes operieren, unter groben und verrauschten Update-Richtungen leiden.
Optimierungsherausforderungen: ZO-Optimierung neigt dazu, „Shortcut-Lösungen" zu lernen (z. B. Reduzierung der Entropie durch Logit-Norm-Inflation anstatt Verbesserung der Entscheidungsgrenzen), leidet unter unkontrolliertem Gewichtsdrift und hat Schwierigkeiten, unter engen Rechenbeschränkungen effektive Update-Richtungen zu schätzen.

Die zentrale Frage lautet: Kann ein eingesetztes Modell stabil und effektiv aus ungelabelten Testzeit-Erfahrungen unter Verwendung von nur zwei Forward-Passes pro Sample ohne Backpropagation evolviert werden?

Methodik: EVA-0

Die Autoren schlagen EVA-0 (Evolutionary Adaptation with Zeroth-order gradients) vor, ein minimales Framework, das eine stabile Evolution von Modellen zur Testzeit unter einem strikten Budget von zwei Forward-Passes erreichen soll. EVA-0 adressiert die identifizierten Herausforderungen durch drei Kern-Designprinzipien:

1. Pro-Sample Symmetrische Zwei-Seiten-Perturbation (SSD)

Um das Rauschen und die Ineffizienz einseitiger ZO-Schätzer zu überwinden und gleichzeitig die Beschränkung auf zwei Forward-Passes einzuhalten:

Mechanismus: Für jedes Sample $x_i$ bewertet das Modell zwei symmetrische Perturbationen: $f_{\theta_t + \mu z_{t,i}}(x_i)$ und $f_{\theta_t - \mu z_{t,i}}(x_i)$ .
Doppelter Nutzen: Diese beiden Forward-Passes dienen einem doppelten Zweck:
- Inferenz: Die Ausgaben werden gemittelt, um die saubere Modellvorhersage zu approximieren (durch Ausmitteln erster Ordnung Perturbationsterme via Taylor-Entwicklung), wodurch ein dritter „sauberer" Forward-Pass entfällt.
- Adaptation: Die Differenz der Verluste zwischen den beiden symmetrischen Ausgaben liefert eine varianzärmere, zweiseitige SPSA-Gradientenschätzung.
Pro-Sample-Unabhängigkeit: Im Gegensatz zu Perturbationen auf Batch-Ebene wendet EVA-0 unabhängige Perturbationen auf jedes Sample innerhalb eines Mini-Batches an. Dies erhöht die Vielfalt der erkundeten Update-Richtungen und verbessert die Übereinstimmung mit echten BP-Gradienten im Vergleich zu geteilten Batch-Perturbationen signifikant.

2. Shortcut-resistente Zielgrößen

Um zu verhindern, dass ZO-Optimierung Shortcuts ausnutzt (z. B. Aufblähen der Logit-Normen zur Minimierung der Entropie ohne Lernen):

Skaleninvariante Entropie: EVA-0 verwendet eine skaleninvariante Entropie-Zielgröße ( $E_{SR}$ ). Sie normalisiert die Logits der perturbierten Ausgaben durch ihre durchschnittliche Norm und wendet eine Dekentrierung (Subtraktion eines Online-Zentrums) an. Dies verhindert, dass das Modell die Entropie einfach durch Aufblähen der Logit-Magnitude reduziert.
Pro-Sample-Feature-Alignment: Wenn Quellstatistiken verfügbar sind, verwendet EVA-0 eine Pro-Sample-Feature-Alignment-Verlustfunktion ( $\ell_{SWA}$ ). Anstatt die Varianz aus einem einzelnen verrauschten Sample zu schätzen, verfolgt sie online erste und zweite Momente von Features mittels Exponentieller Gleitender Durchschnitte (EMA), um eine stabile Varianzschätzung für das Alignment zu rekonstruieren.

3. Anker-gesteuerte Trajektorienkontrolle

Um die Anhäufung von Gewichtsdrift, die bei zufälligen ZO-Updates üblich ist, zu mildern:

Anker-gesteuerte Perturbation: Ein zuverlässiger Anker (z. B. vortrainierte Gewichte oder ein langsam bewegender EMA der Online-Parameter) wird beibehalten. Die Perturbationsverteilung $D_t$ ist adaptiv: Eine Teilmenge von Samples erkundet zufällige Richtungen, während andere durch den Vektor zum Anker hin gelenkt werden.
Gewichtsentspannung: Nach dem ZO-Update wird ein schwacher Entspannungsschritt durchgeführt, der die aktualisierten Gewichte mit dem Anker mischt ( $\theta_{t+1} = (1-\gamma)\theta'_{t+1} + \gamma\theta_{anc}$ ). Dies wirkt als weiche Schranke, entrauscht die Trajektorie und verhindert, dass das Modell zu weit in instabile Regionen driftet, während die Plastizität für die Adaptation erhalten bleibt.

Hauptbeiträge

Striktes Zwei-Forward-Setting: Die Arbeit etabliert und untersucht das herausfordernde Regime der Testzeit-Modell-Evolution mit nur zwei Forward-Passes pro Sample und ohne Backpropagation und treibt TTA hin zu einer hocheffizienten Realwelt-Einsatzfähigkeit voran.
Systematische Analyse von ZO-Einschränkungen: Die Autoren decken drei spezifische Hindernisse in der Nullter-Ordnung TTA auf: Anfälligkeit für Shortcut-Lösungen, unkontrollierter Gewichtsdrift und ineffektive Schätzung von Update-Richtungen unter strikten Budgets.
EVA-0-Framework: Eine vereinheitlichte Methode, die skaleninvariante Zielgrößen, anker-gesteuerte Trajektorienkontrolle und pro-Sample-symmetrische Perturbationen integriert.
Umfassende Validierung: Umfangreiche Experimente über CNNs (ResNet50-GN), Vision Transformer (ViT-Base), quantisierte Modelle (6-Bit/8-Bit), kontinuierliche Streams und Black-Box-Szenarien.

Experimentelle Ergebnisse

Evaluiert auf ImageNet-C (15 Korruptionen, Schweregrad 5):

Leistung: EVA-0 übertrifft sowohl BP-basierte Methoden (z. B. DeYO) als auch BP-freie Baselines (FOA, ZOA, FOZO). Auf ViT-Base erreicht EVA-0 eine durchschnittliche Genauigkeit von 66,7 % und übertrifft damit DeYO (65,7 %) und ZOA (61,3 %).
Effizienz: EVA-0 erzielt eine 14-fache Beschleunigung gegenüber FOA (welches 28 Forward-Passes erfordert) und reduziert den Speicherverbrauch im Vergleich zu BP-basierten Methoden erheblich (822 MB vs. 5.350 MB für DeYO auf ViT-Base).
Quantisierte Modelle: EVA-0 ermöglicht es einem 6-Bit quantisierten ViT, ein nicht adaptiertes 32-Bit ViT in der OOD-Genauigkeit um 4,4 % zu übertreffen und demonstriert damit seine Eignung für den Edge-Einsatz.
Kontinuierliche Adaptation: In langfristigen kontinuierlichen TTA-Szenarien, in denen Modelle über Domänen hinweg evolviert werden ohne Zurücksetzen, behält EVA-0 die Stabilität (45,6 % Genauigkeit auf ResNet50-GN), während andere Methoden (z. B. FOA, DeYO) erhebliche Verschlechterungen erleiden.
Black-Box-Adaptation: EVA- passt Eingabe-Prompts in Black-Box-Szenarien effektiv an und übertrifft FOA unter der Zwei-Forward-Beschränkung um 5,3 %.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass eine ausschließlich auf Forward-Passes basierende Modell-Evolution nicht lediglich ein Kompromiss für eingeschränkte Szenarien ist, sondern ein vielversprechender und skalierbarer Weg hin zu adaptiver, eingesetzter Intelligenz.

Durch die Vereinheitlichung von shortcut-resistenten Zielgrößen, Trajektorienkontrolle und effizienter Richtungsabschätzung zeigt EVA-0, dass eine effektive, stabile und effiziente Modell-Evolution unter extrem restriktiven Einsatzbedingungen (zwei Forward-Passes, kein BP) möglich ist. Diese Arbeit legt nahe, dass Modelle in realen, ressourcenbeschränkten Umgebungen sinnvoll aus ihren eigenen ungelabelten Erfahrungen lernen können, ohne die hohen Rechenkosten der Backpropagation.