Resumen Técnico: GISTBench

1. El Problema

En los sistemas de recomendación modernos (RecSys), la comprensión del usuario es fundamental. Tradicionalmente, los modelos se evalúan basándose en la precisión de la predicción de elementos (ej. CTR, ranking del siguiente elemento). Sin embargo, existe una brecha crítica: ningún benchmark evalúa si los Modelos de Lenguaje Grande (LLMs) pueden extraer y verificar intereses de usuario a partir de sus historiales de interacción de manera factual.

Los desafíos actuales incluyen:

• Falta de verificación factual: Los perfiles de usuario generados por LLMs a menudo son plausibles pero no están anclados en la evidencia conductual real (alucinaciones).
• Confusión de señales: Las evaluaciones tradicionales confunden el interés del usuario con sesgos de posición, contexto temporal o calidad del contenido.
• Complejidad de las señales: Los usuarios interactúan mediante señales implícitas (tiempo de visualización, skips) y explícitas (me gusta, comentarios), que tienen diferentes niveles de ruido y fiabilidad.
• Falta de métricas adecuadas: Las métricas existentes (como la "fidelidad" en IA explicable) evalúan el proceso de razonamiento o la plausibilidad, pero no la precisión cuantitativa de la extracción de intereses basada en datos conductuales.

2. Metodología

El equipo propone GISTBench (Grounded Interest Specificity with Taxonomy-Balanced Evaluation), un marco que evalúa la capacidad de los LLMs para construir perfiles de usuario basados en evidencia.

A. Dataset Sintético y Real

• Construcción: Crearon un dataset sintético basado en interacciones reales de una plataforma global de videos cortos. Para proteger la privacidad, agregaron datos de usuarios reales en cohortes de intereses similares (1000 cohortes, min. 10 usuarios cada una) y anonimizaron los datos.
• Señales: El dataset incluye un espectro completo de señales:
  • Positivas Explícitas: Likes, comentarios, compartidos.
  • Positivas Implícitas: Tiempo de visualización prolongado.
  • Negativas Implícitas: Skips (deslizamientos rápidos), que indican desinterés momentáneo o fatiga de contenido.
• Validación: La fidelidad del dataset sintético se validó contra encuestas de usuarios reales, mostrando una correlación de $\rho = 0.67$ en las métricas propuestas.
• Otros Datasets: También evaluaron en 4 datasets públicos existentes (KuaiRec, MIND, Amazon Music, Goodreads) para probar la generalización.

B. Métricas de Evaluación Propuestas

El núcleo de GISTBench son dos familias de métricas que no requieren etiquetas de "verdad absoluta" humana, sino que verifican la coherencia con las señales de interacción:

1. Anclaje de Interés (Interest Groundedness - IG):

   • Evalúa si un interés predicho está respaldado por suficientes señales de evidencia en el historial.
   • Decomposición: Se divide en Precisión (IGP) y Recall (IGR).
     • IGP: Penaliza las categorías de interés alucinadas (sin evidencia).
     • IGR: Recompensa la cobertura de los intereses descubribles.
   • Mecanismo de Verificación: Utiliza un "Juez LLM" para filtrar evidencias semánticamente relevantes y aplica umbrales configurables (ej. $\ge 2$ señales positivas explícitas o $\ge 3$ implícitas). Un interés solo se considera "verificado" si supera estos umbrales y no tiene demasiadas señales negativas contradictorias.

2. Especificidad de Interés (Interest Specificity - IS):

   • Evalúa si los intereses verificados son lo suficientemente granulares para distinguir el contenido fuente de distractores.
   • Tarea: Un juez LLM debe identificar, entre un conjunto de videos distractores, cuáles apoyan específicamente un interés dado.
   • Se calcula solo sobre categorías de interés que ya han sido verificadas (para evitar mezclar calidad de descripción con alucinación).

C. Pipeline de Evaluación

1. Predicción: El LLM genera un perfil de intereses basado en el historial de interacciones (UIH).
2. Filtrado y Verificación: Un juez LLM verifica si las citas de evidencia son relevantes y si cumplen los umbrales de señales (IG).
3. Normalización: Los intereses finos se mapean a una taxonomía estandarizada (35 dominios, 325 categorías) para evitar la inflación de puntuaciones por redundancia léxica.
4. Especificidad: Se realiza una tarea de recuperación para medir la discriminación de los intereses verificados (IS).

3. Contribuciones Clave

1. Nuevo Dataset Sintético: Un conjunto de datos público con señales implícitas y explícitas (positivas y negativas) y descripciones ricas en texto, diseñado para evaluar la comprensión de usuarios sin violar la privacidad.
2. Marco de Benchmark Riguroso: Una evaluación que se centra en la extracción de intereses en lugar de la predicción de elementos, utilizando métricas basadas en evidencia.
3. Nuevas Métricas (IG e IS):
   • Introducen la descomposición Precisión-Recall para el anclaje, revelando que el problema principal es la cobertura, no la alucinación.
   • Miden la especificidad discriminativa, asegurando que los perfiles no sean genéricos.
4. Análisis de Fallos: Identifican cuellos de botella específicos en los LLMs actuales, como la incapacidad de contar señales de manera precisa y la dificultad para seguir instrucciones estrictas de umbral.

4. Resultados Principales

Se evaluaron 8 LLMs de código abierto (desde 7B hasta 120B parámetros).

• Rendimiento General: GPT-OSS-120B obtuvo los mejores resultados en IGF1 (media armónica de Precisión y Recall) en todos los datasets. DeepSeek-R1 lideró en IS (especificidad) en la mayoría de los casos.
• El Cuello de Botella es la Cobertura (Recall): En todos los modelos, IGP $\gg$ IGR. Esto significa que cuando los modelos predicen un interés, es probable que sea real (alta precisión), pero fallan en descubrir la mayoría de los intereses que podrían haberse inferido (bajo recall). La alucinación no es el problema principal; la falta de cobertura lo es.
• Dificultad de las Señales: El dataset MIND (solo señales de clic binarias) fue el más difícil, donde 5 de 8 modelos obtuvieron un 0% de IGF1. Los datasets con señales ricas (implícitas y explícitas) permitieron mejor rendimiento.
• Seguimiento de Instrucciones: Existe un umbral de capacidad (Elo $\approx$ 1200 en Chatbot Arena). Por debajo de este umbral, los modelos no pueden generar salidas estructuradas para la verificación. Por encima, el Elo no predice el rendimiento en esta tarea específica.
• Conteo de Evidencia: El fallo principal (92-99% de los intereses fallidos) se debe a la insuficiencia de evidencia positiva citada. Los modelos luchan por contar y atribuir correctamente las señales a través de tipos de interacción heterogéneos.
• Escala vs. Especificidad:
  • La especificidad (IS) no requiere modelos masivos ni razonamiento profundo; incluso modelos más pequeños pueden generar descripciones específicas.
  • La cobertura y anclaje (IG) sí requieren gran capacidad de razonamiento y escala. Los modelos distilados (ej. DeepSeek-R1-Distill) perdieron significativamente en IG pero mantuvieron IS, indicando que el "contar evidencia" no se transfiere bien mediante distilación simple.
• Longitud de Contexto: Aumentar la longitud del historial de interacciones mejora drásticamente el Recall (más evidencia disponible), pero tiene un impacto marginal en la especificidad.

5. Significado e Impacto

• Cambio de Paradigma: GISTBench desplaza el foco de "¿qué tan bien predice el modelo el próximo elemento?" a "¿qué tan bien entiende y justifica el modelo el perfil del usuario basándose en los datos?".
• Herramienta para Desarrollo: Proporciona métricas concretas para guiar el entrenamiento de LLMs en sistemas de recomendación, sugiriendo que optimizar para la "cobertura verificada" es más crítico que solo la plausibilidad del texto.
• Validación de Agentes: Es crucial para evaluar agentes de IA que deben mantener perfiles de usuario coherentes en conversaciones multi-turno o sistemas de recomendación generativos.
• Limitaciones y Futuro: El trabajo actual se basa en texto y señales de interacción estáticas. El futuro incluye integrar señales multimodales (audio, video), perfiles sintéticos con atributos demográficos y evaluaciones longitudinales para detectar la deriva de intereses.

En conclusión, GISTBench demuestra que, aunque los LLMs actuales pueden generar descripciones de usuario plausibles, todavía carecen de la capacidad robusta para contar, ponderar y atribuir señales conductuales complejas de manera precisa, lo que limita su utilidad en sistemas de recomendación de alta fidelidad.