Technische Samenvatting: Selectieve Schaling van Berekening op Testtijd voor CTR-voorspelling via Onzekerheid-geïnitieerde Verkenning van Feature-paden

1. Probleemstelling

Het artikel adresseert een fundamentele asymmetrie in industriële Click-Through Rate (CTR)-voorspelling: terwijl training modellen blootstelt aan diverse feature-combinaties, komt inferentie vaak sparsere of onbekende combinaties tegen die leiden tot onbetrouwbare voorspellingen. Bestaande oplossingen in de trainingsfase (zoals adaptieve gating, feature-interactie-architecturen) leren een vaste selectiefunctie die zelf onderhevig is aan dezelfde data-sparseheid, en bieden geen uitweg voor specifieke instanties bij implementatie.

Huidige pogingen tot optimalisatie op testtijd in aanbevelingssystemen richten zich voornamelijk op augmentatie van sequentieel gedrag (bijv. item-dropout), wat niet toepasbaar is op de sparsere categorische feature-velden van CTR. Bovendien is directe overdracht van schalingstechnieken op testtijd voor Large Language Models (LLM's) niet haalbaar vanwege het ontbreken van generatiekansen op token-niveau in binaire CTR-classificatie. De kernuitdaging is het ontwikkelen van een trainingsvrij, model-agnostisch raamwerk dat de inferentie-diepte schaalt in verhouding tot per-instantie onzekerheid, zonder strikte industriële latentie-beperkingen te schenden.

2. Methodologie: UTTSI-raamwerk

De auteurs stellen UTTSI (Uncertainty-Triggered Test-Time Selective Inference) voor, een raamwerk dat bovenop elk voorgeïmplementeerd CTR-model werkt zonder zijn parameters te wijzigen of hertraining te vereisen. UTTSI allocateert dynamisch rekenkracht op basis van een geschatte onzekerheidsscore voor elke instantie.

Het raamwerk bestaat uit drie nauw geïntegreerde componenten:

A. Schatting van Frequentie-prior

Om de betrouwbaarheid van feature-waarden te kwantificeren, onderhoudt UTTSI een probabilistische hash-structuur (geïnspireerd door Count-Min Sketch) die de frequentie van elke feature-waarde in de trainingsdata bijhoudt. Dit levert een offline, data-niveau betrouwbaarheidssignaal op. De tellingen worden genormaliseerd naar een verzadigingsdrempel om een frequentiescore $\tilde{s}_{freq}(f_i) \in [0, 1]$ te produceren.

B. Onzekerheidsschatting met Dubbel Signaal

UTTSI schat per-instantie onzekerheid $u(x)$ door twee complementaire signalen te combineren:

1. Model-interne Zekerheid ($s_{model}$): Afgeleid van de voorspellingslogit, genormaliseerd door een constante $\gamma$ (het 95e percentiel van logits op een validatieset). Dit vangt aleatorische ambiguïteit nabij de beslissingsgrens op.
2. Data-niveau Frequentiezekerheid ($s_{freq}$): Een attributie-gewogen gemiddelde van feature-frequenties. De attributie wordt berekend via de gradiëntnorm van de logit ten opzichte van elke feature-embedding ($\|\nabla_{e_i} \text{logit}(x)\|^2$). Dit zorgt ervoor dat de frequentie van features die daadwerkelijk de voorspelling aandrijven zwaarder wordt gewogen dan irrelevante features.

De uiteindelijke onzekerheidsscore wordt berekend als:
$$u(x) = 1 - [\alpha \cdot s_{model}(x) + (1 - \alpha) \cdot s_{freq}(x)]$$
Het aantal extra verkenningpaden $K(x)$ wordt evenredig toegewezen aan deze onzekerheid: $K(x) = \lfloor K_{max} \cdot u(x) \rfloor$.

C. Feature-filtering en Padverkenning

Het inferentieproces verloopt in twee fasen:

1. Adaptieve Feature-filtering (Alle Instanties): Voordat enige verkenning plaatsvindt, wordt voor elke feature een samengestelde score $w(f_i)$ berekend die frequentie en attributie combineert. Features die onder een per-veld drempel $\tau_i$ vallen (offline berekend uit quantielen van trainingsdata) worden verworpen. Dit verwijdert onbetrouwbare embeddings voor alle instanties.
2. Stochastische Padverkenning (Alleen Onzekere Instanties): Voor instanties waarbij $K(x) > 0$, genereert UTTSI $K(x)$ extra inferentiepaden. Elk pad wordt geconstrueerd door stochastisch subsets te bemonsteren van de geraffineerde feature-set. Bemonsteringskansen worden geleid door de samengestelde score $w(f_i)$, zodat informatieve zeldzame features bij voorkeur behouden blijven.
3. Consistentie-gewogen Aggregatie: Voorspellingen van het basis-geraffineerde pad en alle $K(x)$ verkenningpaden worden geaggregeerd. Een consistentie-gewogen stemmechanisme wijst hogere gewichten toe aan voorspellingen die overeenkomen met het ensemble-gemiddelde, en verlaagt de gewichten van uitbijterpaden die waarschijnlijk kritieke features hebben gemaskeerd.

Zekere instanties ($K(x)=0$) omzeilen de verkenningsfase volledig, met slechts de kosten van de initiële forward pass en filtering.

3. Belangrijkste Bijdragen

• Eerste Trainingsvrij Raamwerk op Testtijd voor CTR: UTTSI wordt gepresenteerd als het eerste model-agnostische raamwerk dat selectief de inferentie-diepte schaalt op basis van per-instantie onzekerheid zonder hertraining of architecturale wijzigingen.
• Onzekerheidsschatter met Dubbel Signaal: Het artikel introduceert een nieuwe schatter die model-logit-zekerheid combineert met een frequentie-gebaseerde prior, en effectief onderscheid maakt tussen epistemische onzekerheid (sparsere dekking) en aleatorische ambiguïteit.
• Asymmetrisch Inferentie-ontwerp: Het raamwerk hanteert een asymmetrische strategie waarbij alle instanties een lichtgewicht feature-filtering ondergaan, maar alleen onzekere instanties dure multi-pad-verkenning ontvangen. Dit balanceert prestatiewinst met rekenkundige efficiëntie.
• Empirische Validatie: De aanpak is gevalideerd op vier datasets (Criteo, Avazu, KDD12 en een Industriële dataset) met drie backbone-architecturen, naast een zeven-daagse online A/B-test.

4. Experimentele Resultaten

• Offline Prestaties: UTTSI presteert consistent beter dan state-of-the-art CTR-modellen (inclusief DeepFM, HSTU, PLE en OptFu) over alle datasets. Toegepast op de OptFu-backbone behaalde het AUC-verbeteringen van +0,0037 tot +0,0048 en LogLoss-reducties van -0,0116 tot -0,0142. Winsten waren het meest uitgesproken op datasets met hoge feature-sparseheid (KDD12 en Industriële).
• Ablatiestudies: Het verwijderen van de dubbel-signaalschatting, attributie-gestuurde bemonstering of multi-pad-aggregatie resulteerde in consistente prestatiedegradatie, wat de noodzaak van elke component bevestigt.
• Onzekerheidskalibratie: De geschatte onzekerheidsscore toonde een sterke Spearman-rangcorrelatie ($\rho=0,91$) met de feitelijke voorspellingsfout op de Industriële dataset, wat valideert dat het systeem correct moeilijke instanties identificeert.
• Online A/B-test: Bij een zeven-daagse implementatie op een groot e-commerceplatform behaalde UTTSI een relatieve verbetering van 5,3% in Click-Through Rate (CTR) vergeleken met een productiebasislijn, met statistische significantie ($p < 0,01$).
• Rekenkundige Overhead: De gemiddelde rekenkosten bedragen ongeveer 2,8× de kosten van het basismodel. Omdat echter de meerderheid van de instanties (ongeveer 62%) zeker is en de verkenning omzeilt, en omdat paden paralleliseerbaar zijn, blijft de worst-case latentie gelijk aan een enkele forward pass.

5. Betekenis en Claims

Het artikel claimt dat UTTSI selectieve inferentie op testtijd vestigt als een principiële en complementaire richting ten opzichte van vooruitgang in de trainingsfase. Door de toewijzing van extra berekening uit te stellen totdat de daadwerkelijke instantie wordt waargenomen, maximaliseert het raamwerk de return op reeds getrainde parameters. Het adresseert specifiek de "betrouwbaarheidsgap" in CTR-voorspelling veroorzaakt door feature-sparseheid, en biedt een oplossing die zowel effectief is in het verbeteren van voorspellingsnauwkeurigheid als haalbaar voor industriële implementatie vanwege zijn beheersbare overhead en paralleliseerbare aard. De auteurs benadrukken dat deze aanpak niet concurreert met optimalisaties in de trainingsfase, maar deze juist versterkt door inferentie-gedrag aan te passen aan de specifieke betrouwbaarheid van elke invoerinstantie.