Resumen Técnico: No contrastes lo imposible

Planteamiento del problema

En los sistemas de recomendación a gran escala, el aprendizaje contrastivo es el paradigma estándar para aprender representaciones de usuario. Estos métodos suelen tratar las interacciones observadas entre usuario y artículo como positivos y otros artículos dentro de un mini-lote (mini-batch) como negativos. Un supuesto común, a menudo implícito, que subyace al muestreo aleatorio de mini-lotes es la exposición universal: la idea de que cualquier usuario podría teóricamente ser expuesto a cualquier artículo.

Este supuesto falla en las plataformas de comunidad local como Karrot (Danggeun Market), donde la exposición está geográficamente restringida por diseño. En tales plataformas, la gran mayoría de los pares usuario-artículo son imposibles por política; los artículos ubicados fuera de la región visible de un usuario nunca son expuestos a dicho usuario. En consecuencia, el muestreo de lotes aleatorios estándar introduce un alto volumen de negativos imposibles: artículos que un usuario nunca podría haber visto debido a reglas geográficas, no por una falta de preferencia.

El documento distingue entre dos tipos de negativos:

1. Negativos Factibles: Artículos a los que un usuario podría haber sido expuesto pero decidió no interactuar con ellos. Estos portan una señal de preferencia significativa.
2. Negativos Imposibles: Artículos a los que un usuario nunca podría haber sido expuesto debido a las restricciones de la plataforma. Estos aportan poca o ninguna señal de preferencia, ya que la falta de interacción está determinada por el sistema y no por la elección del usuario.

Cuando los negativos imposibles dominan un lote de entrenamiento, diluyen la señal de aprendizaje contrastivo, lo que conduce a representaciones de usuario menos discriminativas.

Metodología: Muestreo de Lotes Restringido por Región (RCBS)

Para abordar el problema de los "negativos imposibles", los autores proponen el Muestreo de Lotes Restringido por Región (RCBS). Esta es una corrección a nivel de datos que modifica la forma en que se construyen los mini-lotes sin alterar la arquitectura subyacente del modelo ni la función de pérdida.

Mecanismo Central

RCBS construye mini-lotes homogéneos por región. En lugar de muestrear usuarios uniformemente al azar de toda la plataforma, RCBS muestrea usuarios de una región geográfica específica $r$.

• Definición de Factibilidad: Un par usuario-artículo se define como factible si la distancia entre la región del usuario y la región del artículo está dentro de un radio de exposición específico del usuario $\delta_u$.
• Construcción del Lote: Un lote $\mathcal{B}_r$ se forma muestreando usuarios uniformemente de un grupo de regiones específico $U_r$. Dado que todos los usuarios en el lote comparten restricciones de exposición similares, los artículos asociados con otros usuarios en el lote tienen una alta probabilidad de ser negativos factibles para el usuario objetivo.

Impacto Teórico

Los autores derivan que, bajo el muestreo de lotes aleatorios, la fracción esperada de negativos imposibles ($\rho$) es alta y escala con el número de regiones. En contraste, RCBS concentra la masa de probabilidad en una sola región, llevando $\rho$ cerca de cero.

• Negativos más Difíciles: Al reemplazar los negativos imposibles por factibles, RCBS introduce naturalmente "negativos más difíciles" (harder negatives). Los negativos factibles representan artículos que el usuario podría haber visto pero no lo hizo, proporcionando una señal más fuerte e informativa para el aprendizaje de las preferencias del usuario.
• Complementariedad con IPS: El documento señala que RCBS es complementario con el Scoring de Propensión Inversa (IPS). Mientras que IPS corrige el sesgo de exposición entre pares observados, no puede manejar pares con probabilidad de exposición de cero (pares imposibles). RCBS asegura que el lote de entrenamiento consista primordialmente en pares factibles, sobre los cuales IPS puede entonces operar para corregir desequilibrios residuales.

Contribuciones Clave

1. Identificación del Problema: El documento identifica el problema específico de los "negativos imposibles" en sistemas de recomendación con restricción de región, distinguiéndolos de los negativos estándar basados en la preferencia.
2. Propuesta de RCBS: Introduce el Muestreo de Lotes Restringido por Región, un método simple pero efectivo para reducir los negativos imposibles mediante la imposición de homogeneidad geográfica en los mini-lotes.
3. Validación Empírica: A través de extensas evaluaciones offline y online, los autores demuestran que RCBS mejora la calidad de la representación del usuario y el rendimiento en tareas posteriores (downstream).
4. Despliegue en Producción: Las representaciones de usuario aprendidas mediante RCBS se han desplegado con éxito en producción en diversas aplicaciones en Karrot.

Resultados Experimentales

Evaluación Offline (Preentrenamiento de Modelado de Usuario)

• Métricas: Recall@10 y Recall@100.
• Hallazgos: Los modelos entrenados con RCBS superaron consistentemente a las líneas base de lote aleatorio.
  • Random-Train: Logró un R@10 de 0.100 con una proporción de negativos imposibles ($\rho_{train}$) de 0.98.
  • RCBS-Train (fine): Logró un R@10 de 0.149 con $\rho_{train}$ reducido a 0.30.
• Observación: Una menor proporción de negativos imposibles se correlacionó fuertemente con mejores métricas de recall. Además, evaluar los modelos entrenados con RCBS utilizando una evaluación basada en RCBS (RCBS-Eval) arrojó puntuaciones más bajas que Random-Eval, confirmando que los negativos factibles actúan como negativos más difíciles y desafiantes que los imposibles.

Rendimiento en Tareas Posteriores (Downstream)

Cuando se aplicó a tres tareas posteriores, las representaciones de usuario entrenadas con RCBS mostraron mejoras consistentes sobre las líneas base de lote aleatorio:

• Ranking del Feed Principal (Home Feed): Mejora de +1.18% en NDCG@10.
• Recuperación del Feed Principal (Home Feed): Mejora de +7.56% en Recall@10 (la mayor ganancia, atribuida a la similitud estructural entre los objetivos de recuperación y preentrenamiento).
• Ranking de Anuncios de Pantalla (Display Ads): Mejora de +3.38% en PR-AUC.

Pruebas A/B Online

El modelo con mejor rendimiento (RCBS-Train fine) se desplegó en pruebas A/B de producción:

• Home Feed (Ranking + Recuperación): +10.0% de aumento en clics, +5.12% en impresiones y +1.91% en Espectadores Diarios Activos (DAV).
• Display Ads: +6.01% de aumento en eCPM y +7.46% de aumento en el CTR de anuncios.

Significancia y Reivindicaciones

El documento sostiene que el problema de los "negativos imposibles" es un problema crítico y a menudo pasado por alto en servicios con conciencia de ubicación (por ejemplo, entrega de comida, aplicaciones de citas, mercados locales) donde la exposición está estrictamente limitada por la geografía. Al simplemente restringir el proceso de loteado para que sea homogéneo por región, los autores demuestran que:

1. Las señales de entrenamiento se fortalecen: Reemplazar los negativos imposibles por factibles proporciona un reflejo más preciso de la preferencia del usuario.
2. El rendimiento es escalable: El método mejora las métricas de recuperación y ranking en todos los ámbitos, lo que conduce a un impacto comercial significativo en un entorno de producción.
3. La simplicidad es efectiva: La solución no requiere cambios en la arquitectura del modelo ni en la función de pérdida, lo que la convierte en un reemplazo práctico y directo para el muestreo de lotes aleatorios estándar en sistemas con restricciones geográficas.

Los autores concluyen que, si bien RCBS aborda eficazmente la imposibilidad estructural de ciertos pares, el trabajo futuro podría explorar el agrupamiento de regiones adaptativo para restricciones dinámicas y una mayor integración con métodos de mitigación de sesgo basados en propensión.