💻 computer science

Why This, Not That? Mining User Profiles for Pair-wise Counterfactuals

Este artículo propone una nueva tarea para las explicaciones de la clasificación de ítems por pares fundamentadas en la lógica del algoritmo de recomendación, utilizando el aprendizaje contrafáctico para identificar ítems específicos del perfil del usuario que determinan por qué un ítem se clasifica por encima de otro.

Autores originales: Meysam Varasteh, Veronika Bogina, Noam Koenigstein, Robin Burke

Publicado 2026-08-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Meysam Varasteh, Veronika Bogina, Noam Koenigstein, Robin Burke

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Vivimos en una era en la que las máquinas sugieren constantemente qué deberíamos ver, leer o comprar. Durante décadas, los investigadores se han centrado en responder una pregunta sencilla: "¿Por qué el sistema me recomendó esta película específica?". Han desarrollado formas de explicar esa elección individual, a menudo señalando una característica que al usuario le gusta, como un actor favorito o un género preferido. Sin embargo, la toma de decisiones humana rara vez ocurre en el vacío. Cuando elegimos una opción sobre otra, a menudo las estamos comparando lado a lado. Nos preguntamos: "¿Por qué elegí esta película en lugar de aquella?". Esta pregunta comparativa es fundamental para entender nuestras propias preferencias, pero ha recibido mucha menos atención por parte de los diseñadores de sistemas de recomendación. Comprender la diferencia entre dos opciones es a menudo más revelador que comprender una sola elección de forma aislada, porque resalta los factores específicos que inclinaron la balanza.

Un equipo de investigadores se propuso resolver este problema desarrollando una nueva forma de explicar por qué un sistema de recomendación clasifica un artículo por encima de otro. Abordaron la tarea planteando una pregunta de tipo "¿qué pasaría si?": ¿qué tendría que cambiar en el historial de una persona para que el sistema invirtiera el orden de estos dos artículos? Este método, conocido como razonamiento contrafáctico, busca el conjunto mínimo de cambios necesarios para revertir una decisión. En el contexto de una recomendación de películas, los investigadores querían identificar las películas específicas que un usuario había visto anteriormente y que causaron que el sistema prefiriera un clásico de ciencia ficción sobre un drama histórico. Si esas visualizaciones pasadas específicas se eliminaran del historial del usuario, el sistema teóricamente debería recomendar primero el drama histórico. El objetivo era encontrar el grupo más pequeño y preciso de artículos pasados que, de ser borrados, invertiría la clasificación.

Para probar esta idea, los investigadores construyeron un nuevo tipo de modelo informático diseñado para actuar como un explicador. Entrenaron este modelo con tres grandes colecciones de datos de usuarios: una que contenía más de medio millón de calificaciones de películas, otra con preferencias musicales y una tercera con actividad de fijación (pinning). Probaron su enfoque contra varios métodos existentes, incluyendo técnicas que explican artículos individuales o aquellas que intentan comparar artículos analizando sus características generales. Los investigadores descubrieron que su nuevo método, que aprendió a observar el artículo objetivo y el artículo competidor simultáneamente, era mucho más efectivo. Podía identificar los artículos pasados específicos responsables de la diferencia de clasificación con mayor precisión y utilizando menos elementos que los otros métodos. En muchos casos, el nuevo modelo podía explicar la preferencia por el primer artículo sobre el segundo para más del 80 por ciento de los usuarios en sus grupos de prueba, requiriendo a menudo la eliminación de solo un pequeño número de interacciones pasadas para lograr el cambio.

El estudio también reveló que la calidad de estas explicaciones depende en gran medida del tipo de sistema de recomendación que se esté utilizando. Cuando el sistema subyacente se basaba en un método que aprende patrones ocultos en el comportamiento del usuario, el nuevo explicador funcionaba excepcionalmente bien. Sin embargo, los investigadores señalaron una complicación relacionada con los artículos populares. A veces, la forma más efectiva de cambiar una clasificación era eliminar películas o canciones extremadamente famosas que casi todo el mundo ha visto. Aunque esto es matemáticamente correcto, los investigadores sospechaban que podría no ser una explicación útil para una persona real. Decirle a un usuario: "Recibiste esta película porque viste Star Wars y Titanic", podría parecer obvio o poco útil, ya que esos son artículos que casi todo el mundo ha visto. Para probar esto, ejecutaron una versión de su modelo que ignoraba los artículos más populares. Esta versión aún podía encontrar explicaciones, pero funcionaba para menos personas, lo que sugiere que los artículos populares juegan un papel significativo en cómo estos sistemas toman decisiones, incluso si no son la parte más interesante de la historia.

Los investigadores concluyeron que su enfoque genera con éxito explicaciones comparativas que son tanto precisas como concisas. Demostraron que, al entrenar un modelo para que observe dos artículos a la vez, en lugar de uno a la vez, podían descubrir las razones específicas de una diferencia de clasificación. Los resultados sugieren que este método es una vía viable para hacer que los sistemas de recomendación sean más transparentes, permitiendo a los usuarios ver no solo por qué recibieron una sugerencia, sino por qué recibieron una sugerencia en lugar de otra. Aunque el trabajo actual se centra en la capacidad técnica para generar estas explicaciones, los investigadores señalaron que el siguiente paso es ver si las personas realmente encuentran estas explicaciones útiles y fáciles de entender. Planean realizar estudios con usuarios humanos para determinar si estos escenarios de "¿qué pasaría si?" ayudan a las personas a dar sentido a las elecciones que las máquinas hacen por ellas.

Resumen Técnico: Minería de Perfiles de Usuario para Contrafactuales de Par de Comparación

Definición del Problema

El artículo aborda una brecha en la investigación de explicaciones para sistemas de recomendación (RS). Mientras que los métodos existentes explican eficazmente por qué se recomienda un solo ítem (por ejemplo, "¿Por qué se recomendó el Ítem A?"), a menudo no logran abordar las preguntas comparativas que los usuarios plantean naturalmente, tales como "¿Por qué el Ítem A tiene un rango más alto que el Ítem B?".

Basándose en hallazgos psicológicos que indican que los humanos prefieren explicaciones contrastivas para la toma de decisiones, los autores proponen una nueva tarea: Interpretación de Pares de Clasificación de Ítems. El objetivo es generar una explicación contrafactual que identifique el conjunto mínimo de ítems en el perfil de un usuario cuya eliminación revertiría el orden de clasificación de un ítem objetivo ( $T$ ) y un ítem comparativo ( $C$ ). La explicación toma la forma: "El Ítem $T$ está clasificado por encima de $C$ porque el perfil del usuario incluye los ítems $x_1, x_2, x_3$ . Si estos estuvieran ausentes, $C$ tendría un rango más alto".

Los autores definen dos métricas de calidad para estas explicaciones basadas en las máximas de Grice:

Veracidad: Eliminar los ítems identificados debe causar realmente que el recomendador clasifique a $C$ por encima de $T$ .
Concisión: El conjunto de ítems eliminados (la perturbación) debe ser lo más pequeño posible.

Metodología

El enfoque propuesto extiende el marco LXR (Explicación Basada en Aprendizaje para Recomendaciones), que fue diseñado originalmente para explicaciones de un solo ítem. Los autores introducen una clase de técnicas llamada CLXR (LXR Comparativo) para manejar la tarea de pares.

1. Adaptación de la Línea Base: CLXR-score

Este enfoque reutiliza un explicador LXR ( $e_l$ ) preentrenado para ítems individuales. Genera dos máscaras separadas: una para el ítem objetivo ( $m^l_T$ ) y otra para el ítem comparativo ( $m^l_C$ ). La máscara comparativa ( $m_C$ ) se calcula mediante multiplicación elemento a elemento: $m_C = m^l_T \odot (1 - m^l_C)$ . Esta lógica asume que los ítems que contribuyen al rango de $T$ pero no al de $C$ son la causa de la preferencia.

2. Enfoques de Optimización Directa

Los autores proponen dos métodos que optimizan directamente el objetivo comparativo utilizando una función de pérdida compuesta por cuatro términos:

$\mathcal{L}_{cmp}$ : Maximiza la brecha de puntuación entre $T$ y $C$ después de aplicar la máscara.
$\mathcal{L}_{pred}$ : Asegura que $T$ permanezca altamente clasificado cuando cuenta con el soporte de la máscara.
$\mathcal{L}_{inv}$ : Asegura que el rango de $T$ caiga cuando la máscara se invierte (ítems eliminados).
$\mathcal{L}_{reg}$ : Impone la dispersión (minimizando el tamaño de la perturbación).

Se detallan dos implementaciones específicas:

CLXR-joint: Utiliza una arquitectura de red siamesa. Una red intermedia compartida ( $e_s$ ) procesa tanto a $T$ como a $C$ para generar máscaras intermedias, que luego se combinan para formar la máscara comparativa final. La red se entrena de extremo a extremo utilizando la función de pérdida combinada (Ec. 2).
CLXR-tdlr: Adapta la pérdida de Desviación Dirigida - Clasificación de Logit (TDLR), comúnmente utilizada en ataques adversarios. Este método aprende directamente la máscara comparativa sin una red intermedia, basándose únicamente en la pérdida comparativa y la regularización de dispersión.

3. Métricas de Evaluación

Dado que no existen métricas estándar para explicaciones de pares, los autores definen:

MPRR (Perturbación Mínima para la Reversión de Rango): La fracción (o recuento) más pequeña de los ítems superiores del perfil (basados en las puntuaciones del explicador) que deben eliminarse para revertir el rango de $T$ y $C$ . Menor es mejor.
Cobertura: El porcentaje de pares usuario-ítem para los cuales se puede encontrar una perturbación válida (que cause una reversión de rango) dentro del espacio de búsqueda.

Configuración Experimental

El estudio evalúa los métodos a través de tres conjuntos de datos (MovieLens-1M, Yahoo Music, Pinterest) y dos algoritmos de recomendación:

Factorización de Matrices (MF): Un modelo estándar de factores latentes.
Autoencoder Variacional (VAE): Un modelo generativo probabilístico.

Los modelos CLXR se comparan con varias líneas base:

Popularidad (POP): Un clasificador simple basado en popularidad.
SHAP y LIME: Métodos de perturbación agnósticos al modelo (adaptados para RS).
ACCENT: Un método contrafactual basado en funciones de influencia.
LXR: El explicador original de un solo ítem.

Resultados Clave

Los experimentos demuestran que optimizar explícitamente para la tarea comparativa produce resultados superiores en comparación con la adaptación de métodos de un solo ítem o el uso de líneas base agnósticas al modelo.

Desempeño: CLXR-joint supera consistentemente a todas las líneas base tanto en Cobertura como en MPRR en la mayoría de las combinaciones de dataset/recomendador. Por ejemplo, en el dataset MovieLens con un recomendador VAE, CLlem CLXR-joint logró un 92% de Cobertura con un MPRR de 21 ítems, superando significativamente al siguiente mejor método (LXR con 82% de Cobertura, 30 ítems).
CLXR-tdlr también es altamente competitivo, particularmente con modelos de Factorización de Matrices.
Líneas Base: Aunque LXR (un solo ítem) funciona razonablemente bien, generalmente se queda corto frente a los modelos CLXR optimizados conjuntamente. SHAP y LIME a menudo sufren de menor cobertura o requieren perturbaciones más grandes. ACCENT tiene un buen desempeño en escenarios específicos de VAE/Pinterest, pero carece de la consistencia de CLXR-joint.
Sesgo de Popularidad: Los autores investigaron el impacto de los ítems populares en las explicaciones. Cuando se filtraron los ítems populares (top 15%) durante el entrenamiento (CLXR-filter), la Cobertura disminuyó significativamente (por ejemplo, de 81% a 56.3% en ML-1M con MF). Esto sugiere que, aunque los ítems populares suelen impulsar las reversiones de rango, depender de ellos puede producir explicaciones que son técnicamente correctas pero potencialmente insatisfactorias o poco intuitivas para los usuarios (por ejemplo, "Si no hubieras visto Star Wars...").

Significancia y Reivindicaciones

El artículo posiciona su trabajo como una incursión inicial en las explicaciones de clasificación comparativa utilizando aprendizaje contrafactual. Sus principales contribuciones son:

Formulación de la Tarea: Define formalmente el problema "¿Por qué $T$ está clasificado por encima de $C$ ?" y argumenta que las soluciones efectivas deben estar fundamentadas en la lógica del propio algoritmo de recomendación, en lugar de estar desacopladas.
Innovación Metodológica: Demuestra que el aprendizaje contrafactual puede adaptarse eficazmente para aproximar las perturbaciones de perfil para explicaciones comparativas. Se muestra que el enfoque CLXR-joint, que utiliza una red siamesa y un objetivo contrastivo combinado, es el más efectivo para generar explicaciones concisas y verificables.
Validación Empírica: A través de extensos experimentos, los autores demuestran que optimizar explícitamente el objetivo contrastivo (CLXR-joint) conduce a explicaciones más fieles y concisas que adaptar métodos de un solo ítem (CLXR-score) o utilizar técnicas agnósticas al modelo.
Limitaciones y Trabajo Futuro: Los autores reconocen modestamente que su método actual proporciona aproximaciones eficientes en lugar de explicaciones mínimas garantizadas. Señalan que algunas reversiones de rango pueden ser imposibles debido a fuertes sesgos de popularidad (por ejemplo, una película de nicho frente a un éxito de taquilla). Concluyen que, si bien sus métricas offline validan el rendimiento técnico, el trabajo futuro debe incluir una evaluación centrada en el humano para determinar si estas perturbaciones contrafactuales son percibidas como útiles y accionables por usuarios reales. También sugieren que el trabajo futuro debería explorar mecanismos de resumen (por ejemplo, agrupamiento/clustering) para manejar casos donde se requieren perturbaciones grandes.