🤖 machine learning

Selective Test-Time Compute Scaling for Click-Through Rate Prediction via Uncertainty-Triggered Feature Path Exploration

Das Papier schlägt UTTSI vor, ein trainingsfreies Framework, das die Rechenleistung zur Laufzeit für die CTR-Vorhersage skaliert, indem es die Erkundung von Feature-Pfaden selektiv nur für unsichere Instanzen auslöst und dadurch erhebliche Online-Leistungsgewinne bei minimalem durchschnittlichem Overhead erzielt.

Ursprüngliche Autoren: Moyu Zhang, Yun Chen, Yujun Jin, Jinxin Hu, Yu Zhang, Xiaoyi Zeng

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Moyu Zhang, Yun Chen, Yujun Jin, Jinxin Hu, Yu Zhang, Xiaoyi Zeng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreiben einen riesigen Online-Shop. Jedes Mal, wenn ein Kunde den Shop besucht, muss Ihr Computersystem raten: „Wird diese Person auf diese spezifische Anzeige klicken?" Dies wird als Vorhersage der Klickrate (Click-Through Rate, CTR) bezeichnet.

Seit Jahren konzentrieren sich Informatiker darauf, das „Gehirn" (das KI-Modell) während der Trainingsphase schlauer zu machen, indem sie es mit Millionen von Beispielen füttern, damit es besser lernt. Doch die Autoren dieses Papers stellten ein Problem fest: Selbst ein superkluges Gehirn gerät manchmal in Verwirrung.

Stellen Sie sich einen Schüler vor, der eine Prüfung schreibt.

Die leichten Fragen: Der Schüler hat diese exakten Fragen tausendmal in der Übung gesehen. Er antwortet sofort und selbstbewusst.
Die schwierigen Fragen: Der Schüler sieht eine seltsame Kombination von Wörtern, die er noch nie gesehen hat. Er zögert, rät und wird sie wahrscheinlich falsch beantworten.

Auf die alte Weise behandelte der Computer jede Frage gleich: Er verwendete exakt die gleiche Menge an „Denkarbeit" für die leichten wie für die schwierigen Fragen. Das war verschwenderisch. Er verbrachte zu viel Energie mit leichten Fragen und nicht genug mit den schwierigen.

Die neue Idee: „Unsicherheitsgetriggertes" Denken

Die Autoren schlagen ein neues System namens UTTSI vor. Anstatt jeden Kunden gleich zu behandeln, stellt UTTSI zuerst eine einfache Frage: „Wie sicher sind wir bei diesem spezifischen Kunden?"

So funktioniert es, unter Verwendung einer Restaurantküche-Analogie:

1. Der „Vertrauens-Check" (Unsicherheitsschätzung)

Bevor der Koch (die KI) mit dem Zubereiten beginnt, prüft ein Manager die Bestellung.

Die Werkzeuge des Managers: Der Manager betrachtet zwei Dinge:
1. Das Bauchgefühl des Kochs: Wie sicher fühlt sich die KI bei ihrer Antwort? (Wenn die KI unschlüssig ist, ist das eine rote Flagge).
2. Die Geschichte des Kochbuchs: Hat das Restaurant diese spezifischen Zutaten schon einmal gesehen? (Wenn der Kunde eine seltsame Mischung aus Zutaten bestellt, die die Küche noch nie verwendet hat, ist das eine weitere rote Flagge).
Das Ergebnis: Der Manager vergibt einen „Vertrauens-Score" für die Bestellung.
- Hoher Vertrauens-Score: „Wir haben dieses Gericht eine Million Mal zubereitet. Wir wissen genau, wie es schmeckt."
- Niedriger Vertrauens-Score: „Das ist eine seltsame Kombination. Wir sind uns nicht sicher, ob es gut schmecken wird."

2. Der „intelligente Filter" (Adaptive Merkmalsfilterung)

Bevor gekocht wird, reinigt die Küche die Zutaten.

Wenn eine Zutat alt, verdorben oder völlig unbekannt ist (wie ein seltenes Gewürz, über das die Küche keine Daten hat), wirft der Manager sie sofort weg.
Dies geschieht bei jeder Bestellung, ob einfach oder schwierig. Es stellt sicher, dass der Koch nicht versucht, mit Müll zu kochen.

3. Die „Probier-Strategie" (Selektive Skalierung der Rechenleistung)

Dies ist der magische Teil. Die Küche ändert ihren Arbeitsablauf basierend auf dem Vertrauens-Score:

Für die sicheren Bestellungen (leichte Fragen):
Der Koch bereitet das Gericht einmal mit den gereinigten Zutaten zu und serviert es. Keine zusätzliche Arbeit ist nötig. Das spart Zeit und Energie.
Für die unsicheren Bestellungen (schwierige Fragen):
Der Koch rät nicht einfach. Stattdessen schickt die Küche die Bestellung an mehrere verschiedene Köche (oder derselbe Koch versucht mehrere verschiedene Rezepte).
- Koch A versucht Rezept 1.
- Koch B versucht Rezept 2.
- Koch C versucht Rezept 3.
- Alle probieren ihre Versionen. Wenn alle zustimmen, dass das Essen gut schmeckt, serviert der Manager diese Version. Wenn ein Koch einen seltsamen Fehler macht, ignoriert der Manager die Version dieses Kochs und folgt der Mehrheit.
- Der Vorteil: Indem viele verschiedene „Pfade" oder Kombinationen von Zutaten ausprobiert werden, findet die Küche das bestmögliche Gericht für diese spezifische seltsame Bestellung.

Warum ist das eine große Sache?

Es ist „training-frei": Sie müssen die KI nicht neu lehren oder ihr Gehirn verändern. Sie fügen einfach diese „Manager"-Ebene über das bestehende System hinzu. Es funktioniert mit jedem KI-Modell.
Es ist effizient: Da die meisten Bestellungen tatsächlich „einfach" (sicher) sind, verschwendet das System keine Zeit damit, für alle den Mehr-Koch-Probier-Test durchzuführen. Es gibt nur bei den kniffligen Fällen zusätzliche Energie aus.
Beweis aus der Praxis: Die Autoren testeten dies an riesigen Datensätzen (wie Millionen von Klicks auf Anzeigen) und führten sogar einen Live-Test über eine Woche lang auf einer echten E-Commerce-Website durch.
- Das Ergebnis: Das System klickte mehr Anzeigen (höhere Klickrate) als das alte System.
- Die Kosten: Es verwendete im Durchschnitt nur etwa das 2,8-fache der Rechenleistung. Da Computer viele Dinge gleichzeitig erledigen können (parallele Verarbeitung), wurde die Website für den Benutzer nicht langsamer; es wurde nur etwas mehr „Denkkraft" im Hintergrund verbraucht.

Zusammenfassung

Das Paper argumentiert, dass wir statt zu versuchen, die KI in allem perfekt zu machen, der KI wissen lassen sollten, wann sie unsicher ist. Wenn sie unsicher ist, geben wir ihr zusätzliche Zeit und Ressourcen, um verschiedene Möglichkeiten durchzudenken. Wenn sie sicher ist, lassen wir sie fliegen. Diese „intelligente Skalierung" macht das gesamte System genauer, ohne die Bank zu sprengen oder die Abläufe zu verlangsamen.

Technische Zusammenfassung: Selektive Skalierung der Berechnung zur Vorhersagezeit für CTR durch unsicherheitsgetriggerte Erkundung von Feature-Pfaden

1. Problemstellung

Die Arbeit adressiert eine fundamentale Asymmetrie in der industriellen Click-Through-Rate (CTR)-Vorhersage: Während das Training Modelle diversen Feature-Kombinationen aussetzt, stoßen Inferenzsysteme häufig auf sparse oder nicht gesehene Kombinationen, die zu unzuverlässigen Vorhersagen führen. Bestehende Lösungen in der Trainingsphase (z. B. adaptives Gating, Feature-Interaktionsarchitekturen) lernen eine feste Selektionsfunktion, die selbst derselben Daten-Sparseheit unterliegt und keinen Ausweg für spezifische Instanzen beim Einsatz bietet.

Aktuelle Versuche zur Optimierung zur Vorhersagezeit in Empfehlungssystemen konzentrieren sich primär auf die Augmentierung sequenzieller Verhaltensweisen (z. B. Item-Dropping), was auf die sparse kategorischen Feature-Felder der CTR nicht anwendbar ist. Darüber hinaus ist die direkte Übertragung von Techniken zur Skalierung der Berechnung zur Vorhersagezeit aus Large Language Models (LLMs) aufgrund des Fehlens von Token-Level-Generierungswahrscheinlichkeiten bei der binären CTR-Klassifikation nicht machbar. Die Kernherausforderung besteht darin, ein trainingsfreies, modellagnostisches Framework zu entwickeln, das die Inferenztiefe proportional zur instanzspezifischen Unsicherheit skaliert, ohne strenge industrielle Latenzbeschränkungen zu verletzen.

2. Methodik: UTTSI-Framework

Die Autoren schlagen UTTSI (Uncertainty-Triggered Test-Time Selective Inference) vor, ein Framework, das auf jedem vortrainierten CTR-Modell operiert, ohne seine Parameter zu modifizieren oder ein Nachtrainieren zu erfordern. UTTSI weist Rechenressourcen dynamisch basierend auf einer geschätzten Unsicherheitsbewertung für jede Instanz zu.

Das Framework besteht aus drei eng integrierten Komponenten:

A. Schätzung des Frequenz-Priors

Um die Zuverlässigkeit von Feature-Werten zu quantifizieren, unterhält UTTSI eine probabilistische Hash-Struktur (inspiriert von Count-Min Sketch), die die Häufigkeit jedes Feature-Werts in den Trainingsdaten verfolgt. Dies liefert ein offline, datenebenenbasiertes Zuverlässigkeitssignal. Die Zählungen werden auf einen Sättigungsschwellenwert normalisiert, um einen Frequenz-Score $\tilde{s}_{freq}(f_i) \in [0, 1]$ zu erzeugen.

B. Unsicherheitsschätzung mit Dual-Signal

UTTSI schätzt die instanzspezifische Unsicherheit $u(x)$ durch die Kombination zweier komplementärer Signale:

Modellinterne Konfidenz ( $s_{model}$ ): Abgeleitet aus dem Vorhersage-Logit, normalisiert durch eine Konstante $\gamma$ (das 95. Perzentil der Logits auf einem Validierungsdatensatz). Dies erfasst aleatorische Ambiguität nahe der Entscheidungsgrenze.
Datenbasierte Frequenz-Konfidenz ( $s_{freq}$ ): Ein attributionsgewichteter Durchschnitt der Feature-Häufigkeiten. Die Attribution wird über die Gradientennorm des Logits bezüglich jedes Feature-Embeddings berechnet ( $\|\nabla_{e_i} \text{logit}(x)\|^2$ ). Dies stellt sicher, dass die Häufigkeit von Features, die tatsächlich die Vorhersage antreiben, stärker gewichtet wird als irrelevante Features.

Der finale Unsicherheits-Score wird wie folgt berechnet:
$u(x) = 1 - [\alpha \cdot s_{model}(x) + (1 - \alpha) \cdot s_{freq}(x)]$
Die Anzahl der zusätzlichen Erkundungspfade $K(x)$ wird proportional zu dieser Unsicherheit zugewiesen: $K(x) = \lfloor K_{max} \cdot u(x) \rfloor$ .

C. Feature-Filterung und Pfaderkundung

Der Inferenzprozess verläuft in zwei Stufen:

Adaptive Feature-Filterung (Alle Instanzen): Vor jeder Erkundung wird für jedes Feature ein kombinierter Score $w(f_i)$ berechnet, der Frequenz und Attribution vereint. Features, die unter einen feldspezifischen Schwellenwert $\tau_i$ fallen (offline aus Quantilen der Trainingsdaten berechnet), werden verworfen. Dies entfernt unzuverlässige Embeddings für alle Instanzen.
Stochastische Pfaderkundung (Nur unsichere Instanzen): Für Instanzen, bei denen $K(x) > 0$ , generiert UTTSI $K(x)$ zusätzliche Inferenzpfade. Jeder Pfad wird durch stochastisches Sampling von Teilmengen des verfeinerten Feature-Sets konstruiert. Die Sampling-Wahrscheinlichkeiten werden durch den kombinierten Score $w(f_i)$ geleitet, wodurch sicherstellt wird, dass informative seltene Features bevorzugt beibehalten werden.
Konsistenz-gewichtete Aggregation: Vorhersagen aus dem Basis-Verfeinerungspfad und allen $K(x)$ Erkundungspfaden werden aggregiert. Ein konsistenz-gewichtetes Abstimmungsschema weist Vorhersagen, die mit dem Ensemble-Mittelwert übereinstimmen, höhere Gewichte zu und gewichtet Ausreißer-Pfade herunter, die wahrscheinlich kritische Features maskiert haben.

Konfidente Instanzen ( $K(x)=0$ ) umgehen die Erkundungsstufe vollständig und verursachen nur die Kosten des initialen Forward-Passes und der Filterung.

3. Hauptbeiträge

Erstes trainingsfreies Test-Time-Framework für CTR: UTTSI wird als erstes modellagnostisches Framework vorgestellt, das die Inferenztiefe selektiv basierend auf instanzspezifischer Unsicherheit skaliert, ohne Nachtraining oder architektonische Änderungen.
Unsicherheitsschätzer mit Dual-Signal: Die Arbeit stellt einen neuartigen Schätzer vor, der die Modell-Logit-Konfidenz mit einem frequenzbasierten Prior kombiniert und effektiv zwischen epistemischer Unsicherheit (sparse Abdeckung) und aleatorischer Ambiguität unterscheidet.
Asymmetrisches Inferenzdesign: Das Framework verfolgt eine asymmetrische Strategie, bei der alle Instanzen einer leichten Feature-Filterung unterzogen werden, aber nur unsichere Instanzen eine teure Mehrpfad-Erkundung erhalten. Dies balanciert Leistungsgewinne mit Recheneffizienz aus.
Empirische Validierung: Der Ansatz wurde über vier Datensätze (Criteo, Avazu, KDD12 und ein industrieller Datensatz) unter Verwendung von drei Backbone-Architekturen sowie in einem sieben Tage dauernden Online-A/B-Test validiert.

4. Experimentelle Ergebnisse

Offline-Leistung: UTTSI übertrifft konsistent state-of-the-art CTR-Modelle (einschließlich DeepFM, HSTU, PLE und OptFu) über alle Datensätze hinweg. Bei Anwendung auf das OptFu-Backbone wurden AUC-Verbesserungen von +0,0037 bis +0,0048 und LogLoss-Reduktionen von -0,0116 bis -0,0142 erzielt. Die Gewinne waren bei Datensätzen mit hoher Feature-Sparseheit (KDD12 und industrieller Datensatz) am ausgeprägtesten.
Ablationsstudien: Das Entfernen der Dual-Signal-Schätzung, des attributionsgeführten Samplings oder der Mehrpfad-Aggregation führte zu einer konsistenten Leistungsverschlechterung, was die Notwendigkeit jeder Komponente bestätigt.
Unsicherheitskalibrierung: Der geschätzte Unsicherheits-Score zeigte eine starke Spearman-Rangkorrelation ( $\rho=0,91$ ) mit dem tatsächlichen Vorhersagefehler auf dem industriellen Datensatz, was validiert, dass das System schwierige Instanzen korrekt identifiziert.
Online-A/B-Test: Bei einer sieben Tage dauernden Bereitstellung auf einer großen E-Commerce-Plattform erzielte UTTSI eine relative Verbesserung der Click-Through-Rate (CTR) von 5,3 % im Vergleich zu einer Produktions-Baseline, mit statistischer Signifikanz ( $p < 0,01$ ).
Rechen-Overhead: Die durchschnittlichen Rechenkosten betragen ungefähr das 2,8-fache der Kosten des Basismodells. Da jedoch die Mehrheit der Instanzen (ca. 62 %) konfident ist und die Erkundung umgeht und da Pfade parallelisierbar sind, bleibt die Worst-Case-Latenz äquivalent zu einem einzelnen Forward-Pass.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass UTTSI selektive Inferenz zur Vorhersagezeit als prinzipielle und komplementäre Richtung zu Fortschritten in der Trainingsphase etabliert. Durch das Aufschieben der Zuweisung zusätzlicher Berechnungen bis zum tatsächlichen Beobachten der Instanz maximiert das Framework die Rendite bereits trainierter Parameter. Es adressiert spezifisch die „Zuverlässigkeitslücke" in der CTR-Vorhersage, die durch Feature-Sparseheit verursacht wird, und bietet eine Lösung, die sowohl effektiv bei der Verbesserung der Vorhersagegenauigkeit als auch für den industriellen Einsatz aufgrund seines handhabbaren Overheads und seiner Parallelisierbarkeit machbar ist. Die Autoren betonen, dass dieser Ansatz nicht mit Optimierungen in der Trainingsphase konkurriert, sondern diese vielmehr verbessert, indem er das Inferenzverhalten an die spezifische Zuverlässigkeit jeder Eingabeinstanz anpasst.