💬 NLP

DiffRetriever: Parallel Representative Tokens for Retrieval with Diffusion Language Models

DiffRetriever introduce un método de recuperación de tokens representativos en paralelo para modelos de lenguaje de difusión que añade múltiples posiciones enmascaradas a los prompts y las lee en un único paso bidireccional, logrando un rendimiento y una eficiencia superiores a los enfoques autoregresivos secuenciales de múltiples tokens y a los recuperadores existentes afinados por contraste.

Autores originales: Shuai Wang, Yin Yu, Shengyao Zhuang, Bevan Koopman, Guido Zuccon

Publicado 2026-05-11

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Shuai Wang, Yin Yu, Shengyao Zhuang, Bevan Koopman, Guido Zuccon

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando encontrar el libro perfecto en una biblioteca masiva basándote en una sola frase que escribiste en una servilleta. Esto es lo que hace un "retriever" (sistema de recuperación) de una computadora: toma tu consulta y encuentra los documentos que mejor coinciden.

Durante mucho tiempo, la mejor manera de hacer esto fue usar un "bibliotecario inteligente" (un modelo de IA) que lee tu frase y escribe una sola palabra para representar toda la idea. Esto es rápido, pero a veces una sola palabra no es suficiente para capturar un pensamiento complejo.

Los investigadores intentaron hacer que el bibliotecario escribiera múltiples palabras para ser más preciso. Sin embargo, con el tipo antiguo de IA (llamado "autoregresivo"), el bibliotecario tenía que escribir estas palabras una por una, en una línea. Si pedías 20 palabras, tenía que escribir la primera, esperar, escribir la segunda, esperar, y así sucesivamente. Esto era tan lento que las palabras extra no parecían valer la espera, y los resultados no mejoraban mucho.

Presentamos DiffRetriever: El bibliotecario del "Pensamiento Grupal"

Este artículo introduce un nuevo tipo de bibliotecario llamado DiffRetriever, que utiliza un tipo diferente de IA llamado Modelo de Lenguaje de Difusión.

Aquí está el truco de magia:
En lugar de escribir palabras una por una en una línea, el bibliotecario de Difusión mira una página en blanco con 20 espacios vacíos (posiciones enmascaradas) y llena los 20 espacios exactamente al mismo tiempo.

Piénsalo así:

La Vieja Forma (Autoregresiva): Le pides a un amigo que describa una película. Dice: "Fue..." (pausa) "una..." (pausa) "gran..." (pausa) "película de..." (pausa) "acción". Tiene que esperar a que termine cada palabra antes de comenzar la siguiente. Si quieres 20 palabras, tarda una eternidad.
La Nueva Forma (Difusión): Le entregas a tu amigo una hoja con 20 casillas en blanco. Dices: "Llena estas casillas con la descripción". Mira toda la hoja, piensa en la película y simultáneamente llena las 20 casillas en una sola mirada.

Lo Que Encontró el Artículo

Velocidad vs. Calidad: Los investigadores probaron esto en dos tipos de IA: los antiguos escritores "uno por uno" y los nuevos escritores "todos a la vez".
- Cuando pidieron a los antiguos escritores producir múltiples palabras, se volvieron más y más lentos, y la calidad no mejoró realmente.
- Cuando pidieron a los nuevos escritores producir múltiples palabras, fue tan rápido como escribir una sola palabra (porque lo hicieron todo a la vez), pero la calidad saltó significativamente. Fue como obtener una descripción mucho mejor por la misma cantidad de tiempo.
El Mejor Rendimiento: Después de entrenar al nuevo bibliotecario "todos a la vez" (específicamente uno llamado "Dream"), se convirtió en el mejor para encontrar documentos relevantes en sus pruebas, superando a todos los demás métodos, incluidos los antiguos intentos de múltiples palabras y otros modelos de IA modernos.
El Presupuesto "Perfecto": Los investigadores también notaron que diferentes preguntas necesitan diferentes números de palabras. Una pregunta simple como "¿Qué tiempo hace?" podría necesitar solo 2 palabras, mientras que una pregunta compleja podría necesitar 16.
- Actualmente, eligen un número (como 4 o 16) y lo usan para cada pregunta.
- Descubrieron que si pudieran saber mágicamente exactamente cuántas palabras necesita cada pregunta específica antes de escribirlas, el sistema mejoraría aún más: mejor incluso que los modelos entrenados.
- También descubrieron que pistas simples, como la longitud de la pregunta, pueden predecir cuántas palabras se necesitan. Esto sugiere que en el futuro, podríamos construir un sistema que ajuste automáticamente cuántas palabras escribe para cada pregunta, obteniendo lo mejor de ambos mundos.

En Resumen

El artículo demuestra que el problema de usar múltiples palabras para la búsqueda no era la idea de usar múltiples palabras; era la vieja forma de escribirlas (una por una). Al cambiar a una nueva IA que escribe todas las palabras a la vez, hicieron que la búsqueda de múltiples palabras fuera rápida, barata y mucho más precisa. Es como darte cuenta de que no necesitas esperar a un tren lento para entregar tu paquete; solo necesitas un dron que lo deje todo de una sola vez.

Resumen Técnico: DiffRetriever

Enunciado del Problema

Trabajos recientes, específicamente PromptReps (Zhuang et al., 2024), demostraron que los modelos de lenguaje autoregresivos (AR LM) podían funcionar como recuperadores de cero ejemplos (zero-shot) al solicitarles que generaran tokens representativos (vectores densos y logits dispersos) para consultas y pasajes. Sin embargo, extender este enfoque a la recuperación de múltiples tokens (generar $K$ representantes en lugar de uno) resultó ser ineficiente y a menudo ineficaz con modelos AR. Dado que los modelos AR generan tokens secuencialmente, producir $K$ representantes requiere $K$ pasadas hacia adelante, lo que hace que la latencia de codificación escale linealmente con $K$ . Los intentos anteriores de PromptReps de múltiples tokens no lograron mostrar mejoras consistentes en el rendimiento sobre la decodificación de un solo token a pesar de este costo significativo de latencia, dejando sin aclarar si la limitación era el concepto de múltiples tokens en sí mismo o el cuello de botella de la generación secuencial.

Metodología

Los autores proponen DiffRetriever, un marco de recuperación diseñado específicamente para Modelos de Lenguaje de Difusión (DiffLM) para superar el cuello de botella de la generación secuencial.

Mecanismo Central

A diferencia de los modelos AR que generan tokens uno por uno, los DiffLM rellenan posiciones enmascaradas conjuntamente bajo atención bidireccional. DiffRetriever aprovecha esto mediante:

Construcción del Prompt: Añadiendo $K$ posiciones enmascaradas ([MASK]) a un prompt de token representativo (por ejemplo, "Las palabras son [MASK]...").
Decodificación Paralela: Introduciendo toda la secuencia (prompt + $K$ máscaras) en el DiffLM en una única pasada hacia adelante bidireccional.
Extracción de Representaciones: Extrayendo simultáneamente $K$ estados ocultos densos y $K$ vectores de logits dispersos de las $K$ posiciones enmascaradas.

Puntuación y Entrenamiento

Puntuación: El marco adopta la receta híbrida de puntuación de PromptReps:
- Puntuación Densa: Calculada mediante interacción tardía estilo ColBERT (MaxSim) entre los estados ocultos de la consulta y del pasaje.
- Puntuación Dispersa: Calculada mediante logits activados con ReLU y agrupados por máximo (max-pooled).
- Puntuación Híbrida: Una interpolación lineal de las puntuaciones densas y dispersas normalizadas.
Ajuste Fino: Los autores emplean un ajuste fino contrastivo (pérdida InfoNCE) tanto en las puntuaciones densas como en las dispersas, aplicable tanto a arquitecturas AR como DiffLM.

Configuración Experimental

El estudio compara cuatro arquitecturas base (7B–8B parámetros):

Autoregresivo (AR): LLaMA3-8B, Qwen2.5-7B.
Difusión (Diff): Dream-7B (inicializado desde Qwen2.5), LLaDA-8B (entrenado desde cero).
Líneas Base: BM25, PromptReps (AR), DiffEmbed (DiffLM como codificador agrupado por media) y RepLLaMA (AR ajustado finamente de forma contrastiva).
Conjuntos de Datos: MS MARCO, TREC DL 2019/2020 y BEIR-7 (siete conjuntos de datos diversos fuera del dominio).

Resultados Clave

1. Eficiencia y Eficacia de Múltiples Tokens

Difusión vs. Autoregresión: DiffRetriever de múltiples tokens mejora sustancialmente sobre DiffRetriever de un solo token en cada arquitectura de difusión probada. Por el contrario, los modelos AR de múltiples tokens muestran ganancias planas o negativas sobre los modelos AR de un solo token.
Latencia: El costo de codificación para DiffRetriever de múltiples tokens permanece aproximadamente constante independientemente de $K$ (una sola pasada hacia adelante), mientras que el costo de múltiples tokens en AR escala linealmente. En el ajuste de cero ejemplos ( $K \le 20$ ), AR de múltiples tokens incurre en una penalización de latencia de $\approx 15\times$ en comparación con la difusión, sin ninguna mejora consistente en el rendimiento.
Inversión del Rendimiento: En configuraciones de cero ejemplos, los modelos AR inicialmente superan a los DiffLM en $K=1$ . Sin embargo, en $K>1$ , los DiffLM (específicamente Dream y LLaDA) superan a sus contrapartes AR. Por ejemplo, Dream de múltiples tokens casi duplica el rendimiento en MS MARCO en comparación con su versión de un solo token, superando a Qwen2.5.

2. Rendimiento del Estado del Arte

Cero Ejemplos: DiffRetriever en LLaDA logra la puntuación promedio más alta en BEIR-7 entre los sistemas de cero ejemplos en la comparación, superando a PromptReps en arquitecturas AR y a la línea base DiffEmbed.
Ajuste Fino: Tras el ajuste fino supervisado, DiffRetriever en Dream se convierte en el recuperador BEIR-7 más fuerte en general, superando a PromptReps ajustado finamente, DiffEmbed y RepLLaMA ajustado finamente de forma contrastiva.
Sinergia de Arquitectura: La arquitectura Dream (inicializada desde Qwen2.5) muestra un cambio de rendimiento mayor desde cero ejemplos hasta ajuste fino en comparación con LLaDA, lo que sugiere que los priores de pre-entrenamiento AR combinados con la decodificación de difusión bidireccional son altamente efectivos para la recuperación.

3. Análisis de Presupuesto y Margen del Oráculo

Fijo vs. Adaptativo: El estudio identifica que utilizar un presupuesto fijo $(K_q, K_p)$ en todas las consultas deja un rendimiento significativo sin explotar.
Análisis del Oráculo: Un "oráculo por consulta" (que selecciona el $K$ óptimo para cada consulta utilizando la verdad fundamental) en el modelo base congelado supera al ajuste fino contrastivo con un presupuesto fijo en todas las combinaciones.
Predecibilidad: El presupuesto óptimo se correlaciona positivamente con características de consulta económicas (longitud y entropía de Shannon), lo que sugiere que un enrutador aprendido para la selección adaptativa de presupuestos es una dirección futura viable.

Significado y Afirmaciones

El artículo afirma resolver la ambigüedad que rodea a la recuperación de múltiples tokens:

El Cuello de Botella es la Generación Secuencial: El fracaso de los recuperadores AR de múltiples tokens anteriores no se debió al concepto de múltiples tokens en sí mismo, sino al costo de la decodificación secuencial. DiffRetriever demuestra que la recuperación de múltiples tokens es tanto efectiva como económica cuando se desacopla de la generación secuencial mediante modelos de difusión.
Objetivos Alineados con el Entrenamiento: Consultar al modelo de difusión en su forma pre-entrenada (prediciendo posiciones enmascaradas en paralelo) se transfiere mejor a tareas de recuperación que reutilizar el modelo como un codificador estándar estilo BERT (como se hace en DiffEmbed).
Potencial Adaptativo: La existencia de una gran brecha entre el rendimiento con presupuesto fijo y el rendimiento del oráculo por consulta destaca la selección adaptativa de presupuestos como una vía crítica y sin explotar para mejorar la eficiencia y la eficacia de la recuperación.

Los autores concluyen que DiffRetriever establece un nuevo estado del arte para la recuperación basada en difusión, demostrando que los tokens representativos paralelos pueden superar tanto a la difusión de un solo token como a los enfoques autoregresivos secuenciales, manteniendo al mismo tiempo una baja latencia.