Verification Without Sufficiency: Per-Chunk Filtering Fails on Multi-Hop RAG, and Decomposition Repairs It

El detective y la pista perdida

Imagina que eres un detective intentando resolver un misterio, pero en lugar de una libreta, tienes un asistente robot superinteligente. Este robot es excelente escribiendo historias y respondiendo preguntas, pero a veces inventa cosas. Para evitar que mienta, le entregas una pila de recortes de periódico (texto recuperado) y le pides que encuentre los hechos específicos ocultos dentro de ellos antes de escribir su respuesta. Esta configuración se llama Generación Aumentada por Recuperación, o RAG. La idea es simple: el robot lee las pistas, comprueba si tienen sentido y luego te dice la verdad.

Pero, ¿qué pasa cuando el misterio es un rompecabezas de "múltiples saltos" (multi-hop)? En una pregunta normal, la respuesta está ahí mismo, en un párrafo. En un rompecabezas de múltiples saltos, la respuesta está escondida en una cadena de pistas. Necesitas leer un párrafo para encontrar un nombre, luego usar ese nombre para encontrar un segundo párrafo que contiene la verdadera respuesta. El trabajo del robot es verificar: "¿Ayuda este párrafo a resolver el rompecabezas?". La gran pregunta que los investigadores se plantean es: ¿Podemos simplemente revisar cada párrafo uno por uno para ver si es útil, o el rompecabezas se rompe si miramos las piezas de forma aislada?

---

La trampa de mirar una pieza a la vez

En este artículo, un investigador llamado Randhir Kumar investiga una estrategia común utilizada para mejorar estos asistentes robot. La estrategia se llama "filtrado por fragmentos" (per-chunk filtering). Imagina que tienes una pila de 10 recortes de periódico. El consejo estándar es mirar cada uno individualmente, darle una puntuación y desechar los que no parecen contener la respuesta. Suena lógico, como un portero revisando identificaciones a la entrada de un club. Si el ID no coincide con la lista de invitados, no lo dejas entrar.

El artículo muestra que para los rompecabezas de múltiples saltos, esta estrategia de "portero" es en realidad un desastre. No es solo que el portero sea malo en su trabajo; es que la descripción del puesto es imposible.

Aquí está el giro: en un rompecabezas de múltiples saltos, el párrafo que realmente contiene la respuesta final suele ser aquel que la pregunta no menciona. Por ejemplo, si la pregunta es "¿Quién era la esposa del actor que interpretó al villano en la Película X?", la pregunta nombra la película y al actor. El párrafo sobre la película es fácil de encontrar. Pero, ¿el párrafo sobre la esposa del actor? La pregunta nunca menciona su nombre. Si le preguntas al robot: "¿Ayuda este párrafo sobre la esposa a responder la pregunta?", el robot mira la pregunta, ve que no hay mención de la esposa y dice: "No, esto es irrelevante". Tira la pista más importante a la basura.

Los investigadores probaron esto en tres conjuntos de datos de rompecabezas diferentes (HotpotQA, 2WikiMultihopQA y MuSiQue) y descubrieron que este método de comprobación "uno por uno" falló estrepitosamente. Cuando intentaron calificar los párrafos individualmente, el sistema no podía distinguir entre una pista útil y una falsa. La tasa de éxito (medida como AUC) rondaba entre 0.54 y 0.64, lo cual es apenas mejor que lanzar una moneda al aire. De hecho, en los rompecabezas más difíciles, el sistema estaba tan confundido que a menudo conservaba los párrafos incorrectos y desechaba los correctos.

Por qué falla el "portero"

El artículo descarta varias excusas de por qué esto podría estar sucediendo. No es porque el robot sea demasiado tonto (probaron con robots más grandes y más pequeños, y el problema empeoraba con los más inteligentes). No es porque los párrafos fueran demasiado cortos o demasiado largos. No es porque el "portero" fuera demasiado estricto o demasiado permisivo con sus reglas.

El verdadero culpable es la suficiencia. El "portero" asume que un solo párrafo debería ser suficiente para probar la respuesta. Pero en un rompecabezas de múltiples saltos, ningún párrafo por sí solo es suficiente. Necesitas la combinación de la primera pista y la segunda pista para que tenga sentido.

Para demostrar esto, los investigadores realizaron un experimento ingenioso. Tomaron los dos párrafos correctos y los pegaron en una sola pieza de texto larga. Cuando le pidieron al robot que revisara este texto combinado, la tasa de éxito saltó de un 0.66 (como lanzar una moneda) a un sólido 0.88. Esto demostró que la información estaba ahí; el robot simplemente no podía verla cuando las pistas estaban separadas.

También descubrieron que el problema empeora cuanto más pasos tiene el rompecabezas. Si un rompecabezas requiere dos pasos para resolverse, el robot se defiende aceptablemente. Si requiere cuatro pasos, el robot está completamente perdido. Es como intentar encontrar una aguja en un pajar mirando una brizna de hierba a la vez; nunca encontrarás la aguja hasta que mires todo el montón.

La solución: Descomponer el problema

Entonces, si revisar un párrafo a la vez falla, ¿qué funciona? El artículo sugiere una reparación que cambia cómo hacemos la pregunta.

En lugar de preguntarle al robot: "¿Responde este párrafo a la pregunta original?", los investigadores sugieren preguntar: "¿Responde este párrafo al siguiente paso del rompecabezas?".

Imagina que el rompecabezas es una búsqueda del tesoro.

• La forma antigua: Le muestras al robot un mapa de la isla y le preguntas: "¿Muestra este mapa el tesoro?". El robot dice: "No, el tesoro no está en este mapa", y tira el mapa. Pero el mapa en realidad muestra la ubicación de la llave necesaria para abrir el cofre del tesoro.
• La nueva forma: Primero descubres el primer paso: "¿Dónde está la llave?". Encuentras el mapa con la llave. Luego, le preguntas al robot: "¿Muestra este siguiente mapa el tesoro dado que tenemos la llave?". De repente, el robot entiende. Ve la conexión.

Los investigadores probaron esto utilizando un "descomponedor" (decomposer): una herramienta que divide la gran pregunta en subpreguntas más pequeñas. Cuando utilizaron estas preguntas más pequeñas para revisar los párrafos, la tasa de éxito se disparó. En los rompecabezas más difíciles, la puntuación saltó de 0.546 (adivinación aleatoria) a 0.840. Esto es una mejora masiva, demostrando que si le das al robot el contexto adecuado para el paso específico que está buscando, puede encontrar la respuesta.

El costo de equivocarse

El artículo también analizó qué sucede cuando se utilizan estos métodos para generar respuestas reales. Descubrieron que usar el método del portero "uno por uno" era la peor opción posible. Era tan malo que de hecho hacía que las respuestas del robot fueran peores que si simplemente hubieras dejado al robot leer todo sin filtrar nada.

De hecho, cuanto más inteligente era el robot, más sufría por este mal filtrado. Un robot ligeramente más inteligente perdió 4.6 puntos de precisión, pero un robot muy inteligente perdió 19.4 puntos. Es como darle a un chef brillante una receta donde has tirado el ingrediente principal porque no coincidía con el título del plato. El chef es tan bueno cocinando que puede decirte exactamente qué falta, pero no puede hacer el plato sin él.

La conclusión

La lección principal es que no puedes juzgar un rompecabezas de múltiples pasos mirando los pasos de forma aislada. El enfoque del portero de revisar cada párrafo contra la pregunta original falla porque la respuesta está escondida en la conexión entre los párrafos, no en los párrafos mismos.

El artículo no afirma haber resuelto todo el problema perfectamente. Incluso con el nuevo método "descompuesto", todavía hay margen de mejora, y los investigadores admiten que su herramienta aún no es perfecta. Pero han demostrado que la forma antigua de filtrar está rota y que el camino a seguir consiste en dividir la gran pregunta en piezas más pequeñas y manejables antes de revisar las pistas. Es un recordatorio de que, a veces, para encontrar la respuesta, tienes que dejar de mirar la imagen completa y empezar a mirar el siguiente paso.