Resumen Técnico: Escalado Selectivo de Cómputo en Tiempo de Prueba para Predicción de CTR mediante Exploración de Rutas de Características Activada por Incertidumbre

1. Enunciado del Problema

El artículo aborda una asimetría fundamental en la predicción industrial de la Tasa de Clics (CTR): mientras que el entrenamiento expone a los modelos a combinaciones diversas de características, la inferencia a menudo encuentra combinaciones escasas o no vistas que conducen a predicciones poco fiables. Las soluciones existentes en la fase de entrenamiento (por ejemplo, enrutamiento adaptativo, arquitecturas de interacción de características) aprenden una función de selección fija que en sí misma está sujeta a la misma escasez de datos, sin ofrecer recurso para instancias específicas en el despliegue.

Los intentos actuales de optimización en tiempo de prueba en sistemas de recomendación se centran principalmente en la augmentación de comportamiento secuencial (por ejemplo, eliminación de elementos), lo cual es inaplicable a los campos de características categóricas escasas de la CTR. Además, la transferencia directa de técnicas de escalado en tiempo de prueba de Modelos de Lenguaje Grande (LLM) es inviable debido a la ausencia de probabilidades de generación a nivel de token en la clasificación binaria de CTR. El desafío central es desarrollar un marco libre de entrenamiento y agnóstico al modelo que escale la profundidad de inferencia proporcionalmente a la incertidumbre por instancia sin violar las estrictas restricciones de latencia industrial.

2. Metodología: Marco UTTSI

Los autores proponen UTTSI (Inferencia Selectiva en Tiempo de Prueba Activada por Incertidumbre), un marco que opera sobre cualquier modelo de CTR preentrenado sin modificar sus parámetros ni requerir reentrenamiento. UTTSI asigna dinámicamente recursos computacionales basándose en una puntuación de incertidumbre estimada para cada instancia.

El marco consta de tres componentes estrechamente integrados:

A. Estimación de Prioridad de Frecuencia

Para cuantificar la fiabilidad de los valores de las características, UTTSI mantiene una estructura de hash probabilística (inspirada en Count-Min Sketch) que rastrea la frecuencia de cada valor de característica en los datos de entrenamiento. Esto proporciona una señal de fiabilidad offline a nivel de datos. Las conteos se normalizan a un umbral de saturación para producir una puntuación de frecuencia $\tilde{s}_{freq}(f_i) \in [0, 1]$.

B. Estimación de Incertidumbre de Doble Señal

UTTSI estima la incertidumbre por instancia $u(x)$ combinando dos señales complementarias:

1. Confianza Interna del Modelo ($s_{model}$): Derivada del logit de predicción, normalizada por una constante $\gamma$ (el percentil 95 de logits en un conjunto de validación). Esto captura la ambigüedad aleatoria cerca del límite de decisión.
2. Confianza de Frecuencia a Nivel de Datos ($s_{freq}$): Un promedio ponderado por atribución de las frecuencias de características. La atribución se calcula mediante la norma del gradiente del logit con respecto a cada incrustación de característica ($\|\nabla_{e_i} \text{logit}(x)\|^2$). Esto asegura que la frecuencia de las características que realmente impulsan la predicción se pese más que las características irrelevantes.

La puntuación final de incertidumbre se calcula como:
$$u(x) = 1 - [\alpha \cdot s_{model}(x) + (1 - \alpha) \cdot s_{freq}(x)]$$
El número de rutas de exploración adicionales $K(x)$ se asigna proporcionalmente a esta incertidumbre: $K(x) = \lfloor K_{max} \cdot u(x) \rfloor$.

C. Filtrado de Características y Exploración de Rutas

El proceso de inferencia procede en dos etapas:

1. Filtrado Adaptativo de Características (Todas las Instancias): Antes de cualquier exploración, se calcula una puntuación compuesta $w(f_i)$ que combina frecuencia y atribución para cada característica. Las características que caen por debajo de un umbral por campo $\tau_i$ (calculado offline a partir de cuantiles de datos de entrenamiento) se descartan. Esto elimina incrustaciones poco fiables para todas las instancias.
2. Exploración Estocástica de Rutas (Solo Instancias Inciertas): Para instancias donde $K(x) > 0$, UTTSI genera $K(x)$ rutas de inferencia adicionales. Cada ruta se construye muestreando estocásticamente subconjuntos del conjunto de características refinado. Las probabilidades de muestreo se guían por la puntuación compuesta $w(f_i)$, asegurando que las características raras informativas se retengan preferentemente.
3. Agregación Ponderada por Consistencia: Las predicciones de la ruta refinada base y todas las $K(x)$ rutas de exploración se agregan. Un esquema de votación ponderado por consistencia asigna pesos más altos a las predicciones alineadas con la media del conjunto, reduciendo el peso de las rutas atípicas que probablemente enmascararon características críticas.

Las instancias confiables ($K(x)=0$) omiten completamente la etapa de exploración, incurriendo solo en el costo del paso forward inicial y el filtrado.

3. Contribuciones Clave

• Primer Marco Libre de Entrenamiento en Tiempo de Prueba para CTR: UTTSI se presenta como el primer marco agnóstico al modelo que escala selectivamente la profundidad de inferencia basándose en la incertidumbre por instancia sin reentrenamiento ni cambios arquitectónicos.
• Estimador de Incertidumbre de Doble Señal: El artículo introduce un estimador novedoso que combina la confianza del logit del modelo con una prioridad basada en frecuencia, distinguiendo efectivamente entre incertidumbre epistémica (cobertura escasa) y ambigüedad aleatoria.
• Diseño de Inferencia Asimétrico: El marco emplea una estrategia asimétrica donde todas las instancias sufren un filtrado ligero de características, pero solo las instancias inciertas reciben una costosa exploración de múltiples rutas. Esto equilibra las ganancias de rendimiento con la eficiencia computacional.
• Validación Empírica: El enfoque se valida en cuatro conjuntos de datos (Criteo, Avazu, KDD12 y un conjunto de datos industrial) utilizando tres arquitecturas base, junto con una prueba A/B en línea de siete días.

4. Resultados Experimentales

• Rendimiento Offline: UTTSI supera consistentemente a los modelos de CTR más avanzados (incluyendo DeepFM, HSTU, PLE y OptFu) en todos los conjuntos de datos. Cuando se aplica al backbone OptFu, logró mejoras de AUC de +0.0037 a +0.0048 y reducciones de LogLoss de -0.0116 a -0.0142. Las ganancias fueron más pronunciadas en conjuntos de datos con alta escasez de características (KDD12 e Industrial).
• Estudios de Ablación: Eliminar la estimación de doble señal, el muestreo guiado por atribución o la agregación de múltiples rutas resultó en una degradación consistente del rendimiento, confirmando la necesidad de cada componente.
• Calibración de Incertidumbre: La puntuación de incertidumbre estimada mostró una fuerte correlación de rango de Spearman ($\rho=0.91$) con el error de predicción real en el conjunto de datos industrial, validando que el sistema identifica correctamente las instancias difíciles.
• Prueba A/B en Línea: En un despliegue de siete días en una gran plataforma de comercio electrónico, UTTSI logró una mejora relativa del 5.3% en la Tasa de Clics (CTR) en comparación con una línea base de producción, con significancia estadística ($p < 0.01$).
• Sobrecarga Computacional: El costo computacional promedio es aproximadamente 2.8× el costo del modelo base. Sin embargo, dado que la mayoría de las instancias (aproximadamente el 62%) son confiables y omiten la exploración, y dado que las rutas son paralelizables, la latencia en el peor de los casos permanece equivalente a un solo paso forward.

5. Significado y Afirmaciones

El artículo afirma que UTTSI establece la inferencia selectiva en tiempo de prueba como una dirección principista y complementaria a los avances en la fase de entrenamiento. Al diferir la asignación de cómputo adicional hasta que se observa la instancia real, el marco maximiza el retorno de los parámetros ya entrenados. Aborda específicamente la "brecha de fiabilidad" en la predicción de CTR causada por la escasez de características, ofreciendo una solución que es tanto efectiva para mejorar la precisión de la predicción como viable para el despliegue industrial debido a su sobrecarga manejable y su naturaleza paralelizable. Los autores enfatizan que este enfoque no compite con las optimizaciones de fase de entrenamiento, sino que las mejora adaptando el comportamiento de inferencia a la fiabilidad específica de cada instancia de entrada.