💬 NLP

Multi-Faceted Self-Consistent Preference Alignment for Query Rewriting in Conversational Search

El artículo presenta MSPA-CQR, un enfoque de alineación de preferencias autoconsistente y multifacética que mejora la reformulación de consultas conversacionales integrando retroalimentación de las dimensiones de reformulación, recuperación y generación de respuestas.

Autores originales: Zhiyu Cao, Peifeng Li, Qiaoming Zhu

Publicado 2026-04-09

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Zhiyu Cao, Peifeng Li, Qiaoming Zhu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una conversación con un amigo muy inteligente, pero a veces tus preguntas son un poco vagas o dependen de lo que acabas de decir. Por ejemplo, si tu amigo te dice: "¿Qué pasó en 2012 con Cat Power?" y luego tú preguntas: "¿Cuándo se lanzó esa canción?", tu amigo podría confundirse. ¿A qué canción te refieres? ¿De qué álbum?

El Reescritura de Consultas Conversacionales (CQR) es como un "traductor" o un "secretario" que toma esa pregunta confusa y la reescribe para que sea clara y completa, como si fuera una pregunta nueva que no necesita contexto previo.

El problema es que, hasta ahora, estos "secretarios" solo se preocupaban por que la pregunta se leyera bien para un humano, pero no siempre ayudaban a encontrar la respuesta correcta en una biblioteca gigante de documentos (como Internet).

Aquí es donde entra el nuevo método del paper, llamado MSPA-CQR. Vamos a explicarlo con una analogía sencilla:

La Analogía del "Equipo de Tres Detectives"

Imagina que tienes que resolver un misterio (encontrar la respuesta correcta) y necesitas reescribir la pregunta para que un equipo de búsqueda la entienda. En lugar de tener un solo detective, el MSPA-CQR contrata a tres expertos diferentes, cada uno con una especialidad distinta:

El Detective de la Claridad (Reescritura): Su trabajo es asegurarse de que la pregunta tenga sentido por sí sola. Si le dices "¿Cuándo se lanzó?", él añade "¿Cuándo se lanzó la canción Ruin de Cat Power?". Se enfoca en que la frase sea gramaticalmente perfecta y completa.
El Detective de los Papeles (Recuperación): Su trabajo es pensar en qué palabras clave usar para que el motor de búsqueda encuentre el documento exacto. A veces, para buscar mejor, es mejor ser breve y directo, quitando palabras de relleno. Él dice: "Olvídate de la historia, solo necesitamos las palabras clave: 'Cat Power', 'Ruin', '2012'".
El Detective de la Respuesta (Respuesta): Su trabajo es pensar en qué información necesita el sistema para generar la mejor respuesta posible. A veces, añadir un poco de contexto extra (como "a pesar de sus problemas personales") ayuda a que la respuesta final sea más rica y precisa.

¿Cómo funciona el método?

El paper propone un proceso de dos pasos, como si fueras un entrenador de un equipo de fútbol:

Paso 1: El Entrenamiento (Construcción de Datos)
En lugar de pedirle a un humano que escriba la "pregunta perfecta" (lo cual es caro y lento), el sistema usa una Inteligencia Artificial (un LLM) para generar muchas versiones diferentes de la misma pregunta.

Luego, el sistema prueba cada versión: ¿Encontró buenos documentos? ¿Generó una buena respuesta?
Aquí es donde entra la magia de la "Auto-consistencia": El sistema compara todas las versiones generadas. Si varias versiones diferentes llevan a la misma buena respuesta o a los mismos buenos documentos, el sistema sabe que esa es una "buena" pregunta.
Elige la mejor versión (la ganadora) y la peor (la perdedora) para cada uno de los tres detectives.

Paso 2: La Competencia (Optimización)
Ahora, el sistema aprende de estas comparaciones. Pero tiene un truco: le pone una "etiqueta" (un prefijo) a cada instrucción.

Si le dice: "[Claridad] Reescribe esta pregunta", el modelo aprende a pensar como el Detective de la Claridad.
Si le dice: "[Búsqueda] Reescribe esta pregunta", piensa como el Detective de los Papeles.
Si le dice: "[Respuesta] Reescribe esta pregunta", piensa como el Detective de la Respuesta.

El Gran Truco Final: ¡La Fusión!

Cuando llega un usuario real con una pregunta, el sistema no elige solo una de las tres versiones. ¡Las usa a las tres!
Genera tres preguntas ligeramente diferentes (una enfocada en claridad, otra en búsqueda y otra en respuesta) y las une.

¿Por qué funciona tan bien?
Imagina que estás buscando un tesoro.

El Detective de Claridad te da un mapa muy detallado.
El Detective de Búsqueda te da las coordenadas exactas.
El Detective de Respuesta te dice qué herramientas necesitas.

Si usas solo uno, podrías perderte. Pero si combinas los tres, tienes la imagen completa. El paper demuestra que al mezclar estas tres perspectivas, el sistema encuentra la información correcta mucho más rápido y con mayor precisión que los métodos anteriores, incluso en situaciones donde nunca había entrenado antes.

En resumen

El MSPA-CQR es como tener un equipo de tres expertos que revisan tu pregunta desde tres ángulos distintos antes de enviarla a buscar. En lugar de depender de una sola opinión, combina la claridad, la eficiencia de búsqueda y la calidad de la respuesta para asegurarse de que, cuando hagas una pregunta en una conversación, el sistema te encuentre exactamente lo que necesitas, sin importar qué tan confusa sea tu pregunta original.

1. Problema: La Limitación de la Reescritura de Consultas Conversacional (CQR)

En la Búsqueda Conversacional, los usuarios a menudo hacen preguntas ambiguas o incompletas que dependen del contexto del diálogo anterior (ej. "¿Cuándo se lanzó?" sin especificar la canción). El objetivo de la Reescritura de Consultas Conversacional (CQR) es transformar estas consultas dependientes del contexto en consultas autónomas y completas para mejorar la recuperación de documentos.

Limitaciones de los enfoques anteriores:

Aislamiento: La mayoría de los estudios anteriores entrenaron modelos de reescritura de forma aislada, optimizando solo la legibilidad humana o la coincidencia superficial con datos anotados por humanos.
Falta de retroalimentación integral: Ignoraron la retroalimentación crítica que proviene de las etapas posteriores del proceso de búsqueda: la recuperación (¿el documento recuperado es relevante?) y la generación de respuestas (¿la respuesta final es lógica?).
Dependencia de anotación costosa: Los métodos que sí incorporaron señales de recuperación a menudo dependían de "pasajes dorados" (gold passages) anotados manualmente, lo cual es costoso y no escalable a datos no etiquetados.
Inconsistencia de preferencias: Las consultas que son buenas para la legibilidad (reescritura) no siempre son las mejores para la recuperación o para generar respuestas precisas, y viceversa.

2. Metodología Propuesta: MSPA-CQR

Los autores proponen MSPA-CQR (Multi-Faceted Self-Consistent Preference Aligned CQR), un marco que alinea las preferencias del modelo desde tres dimensiones: Reescritura, Recuperación y Respuesta. El método consta de dos etapas principales:

Etapa 1: Construcción de Datos de Preferencia Multifacética

En lugar de usar datos anotados manualmente, el sistema genera datos de preferencia de forma automática utilizando Grandes Modelos de Lenguaje (LLMs) y un mecanismo de autoconsistencia:

Muestreo: Para una consulta original y su contexto, un LLM (como Qwen2.5) genera múltiples candidatos de consultas reescritas ( $RQ_t$ ).
Generación de Retroalimentación:
- Para cada consulta reescrita, se genera una respuesta simulada.
- Se recuperan los top-100 pasajes relevantes (usando BM25 como candidato).
Puntuación de Autoconsistencia: Se diseñan tres métricas de puntuación para evaluar la calidad de cada candidato sin necesidad de etiquetas humanas:
- Puntuación de Reescritura ($RW$): Mide la consistencia semántica entre las consultas reescritas (usando modelos NLI) y penaliza las consultas demasiado cortas que carecen de contexto.
- Puntuación de Recuperación ($RT$): Mide la intersección de los pasajes recuperados por diferentes consultas. Una mayor intersección indica que la consulta es más robusta para recuperar información relevante.
- Puntuación de Respuesta ($RP$): Mide la consistencia semántica entre las respuestas generadas a partir de las diferentes consultas reescritas.
Selección de Muestras: Se seleccionan las consultas con la puntuación más alta como "elegidas" (chosen) y las más bajas como "rechazadas" (rejected) para cada una de las tres dimensiones, creando un conjunto de datos de preferencia multifacético.

Etapa 2: Optimización de Preferencia Directa Multifacética Guiada por Prefijos (MDPO)

Se utiliza una variante de Direct Preference Optimization (DPO) para alinear el modelo con las tres dimensiones simultáneamente:

Control de Prefijos: Se añaden prefijos específicos a las instrucciones de entrada (ej. [REWRITE], [RETRIEVAL], [RESPONSE]) para que el modelo pueda distinguir y aprender de cada tipo de preferencia.
Objetivo de Optimización: El modelo se entrena para maximizar la probabilidad de generar la consulta "elegida" sobre la "rechazada" condicionada al prefijo de preferencia correspondiente.
Inferencia: Durante la prueba, se generan tres consultas reescritas (una guiada por cada preferencia) y se concatenan para realizar la recuperación final, aprovechando la complementariedad de la información.

3. Contribuciones Clave

Marco Multifacético: Es uno de los primeros enfoques que integra simultáneamente la retroalimentación de reescritura, recuperación y respuesta en un solo proceso de alineación de preferencias.
Autoconsistencia sin Anotación: Propone un método novedoso para construir datos de preferencia de alta calidad utilizando LLMs y puntuación de autoconsistencia, eliminando la dependencia de pasajes dorados anotados manualmente.
Mecanismo de Control de Prefijos: Introduce el uso de prefijos en las instrucciones para permitir que un único modelo aprenda y alterne entre diferentes objetivos de optimización (reescritura vs. recuperación vs. respuesta).
Complementariedad Demostrada: La evidencia experimental muestra que las consultas optimizadas para una sola dimensión (ej. solo recuperación) a veces fallan en otras, y que la combinación de las tres dimensiones mejora significativamente los resultados.

4. Resultados Experimentales

El modelo fue evaluado en dos conjuntos de datos populares: QReCC y TopiOCQA, utilizando sistemas de recuperación dispersa (BM25) y densa (ANCE).

Rendimiento Superior: MSPA-CQR superó a todos los baselines de última generación (como AdaCQR, RETPO, CHIQ) en la mayoría de las métricas (MRR, NDCG@3, Recall@K).
- En recuperación densa (TopiOCQA), logró un MRR de 41.4 frente a 38.5 del mejor baseline (AdaCQR).
- En recuperación dispersa, también mostró mejoras significativas.
Generalización Zero-Shot: El modelo demostró una excelente capacidad de generalización en conjuntos de datos no vistos (TREC CAsT 19-21), superando a modelos entrenados específicamente para esos dominios.
Análisis de Ablación:
- La eliminación de cualquiera de las tres preferencias (reescritura, recuperación o respuesta) resultó en una caída de rendimiento, confirmando que son complementarias.
- La eliminación de los prefijos de guía (usando DPO estándar) redujo drásticamente el rendimiento, validando la necesidad de distinguir las dimensiones.
- El uso de un LLM más potente para la generación de datos de muestra (GPT-4o) mejoró aún más el rendimiento, indicando la importancia de la calidad de los datos de preferencia.

5. Significado e Impacto

Este trabajo es significativo porque cambia el paradigma de la reescritura de consultas de un problema puramente lingüístico a un problema de alineación de sistemas completos.

Eficiencia vs. Efectividad: Demuestra que es posible obtener retroalimentación de alta calidad para el entrenamiento de modelos de búsqueda sin el costo prohibitivo de la anotación humana masiva.
Robustez: Al considerar la respuesta final y la recuperación, el modelo genera consultas que no solo son gramaticalmente correctas, sino que son funcionalmente útiles para todo el pipeline de búsqueda conversacional.
Escalabilidad: El enfoque basado en autoconsistencia y LLMs permite escalar la construcción de datos de preferencia a grandes volúmenes de datos no etiquetados, facilitando la adopción de técnicas de alineación en sistemas de búsqueda reales.

En resumen, MSPA-CQR establece un nuevo estado del arte al demostrar que la alineación de preferencias desde múltiples perspectivas, guiada por la autoconsistencia, es la clave para desbloquear el potencial de la búsqueda conversacional.