Answer Presence Drives RAG Rewriting Gains

Resumen Técnico: "La presencia de la respuesta impulsa las ganancias de la reescritura en RAG"

Planteamiento del problema
Los procesos de generación aumentada por recuperación (RAG) utilizan cada vez más un "compilador" (un LLM reescritor más fuerte) para procesar los pasajes recuperados antes de que un modelo "lector" más pequeño genere la respuesta final. En benchmarks de saltos múltiples (multi-hop), este reescritor típicamente eleva el puntaje F1 del lector por decenas de puntos. La explicación prevalente atribuye esta ganancia a una mejor calidad de la evidencia: mejor organización, eliminación de ruido y encadenamiento de saltos múltiples. Sin embargo, los autores observan que en estos mismos entornos, el reescritor hace que la cadena de la respuesta de oro (gold answer string) aparezca en el contexto reescrito en aproximadamente el 80% de los registros. Esto crea un entrelazamiento observacional: no está claro si la mejora en el rendimiento es impulsada causalmente por la curaduría de la evidencia o simplemente por la presencia de la cadena de la respuesta de oro en el contexto.

El método convencional para desenredar estos factores consiste en aplicar un enmascaramiento de subcadena a la respuesta de oro con un token centinela (por ejemplo, [MASK]) y volver a ejecutar el lector. Un residuo positivo significativo (el rendimiento que permanece por encima de la recuperación bruta) se interpreta típicamente como evidencia de un canal de "no filtración" (es decir, curaduría genuina). Los autores argumentan que este enfoque de un solo centinela es poco fiable y puede producir artefactos.

Metodología
El artículo propone una auditoría de intervención controlada para reemplazar el enfoque convencional de enmascaramiento de un solo centinela. La metodología consta de dos capas:

1. Capa de Intervención Causal:

   • Diseño: Para cada contexto reescrito, los autores aplican cuatro ediciones controladas:
     • Eliminar (Remove): Eliminar el segmento de la respuesta de oro y reemplazarlo con [MASK].
     • Placebo (Placebo): Reemplazar un segmento aleatorio de longitud equivalente que no sea la respuesta con [MASK].
     • Insertar (Prefijo) (Insert - Prefix): Preceder la cadena de la respuesta de oro en las reescrituras donde estaba ausente.
     • Insertar (Punto medio) (Insert - Midpoint): Insertar la cadena de la respuesta de oro en un límite de oración de punto medio.
   • Estratificación: Las intervenciones se aplican basándose en si la respuesta de oro estaba presente en la recuperación bruta (ans_in_b1) y si estaba presente en el output compilado (ans_in_compile).
   • Estimación Causal: La métrica principal es el contraste "eliminar menos placebo" ($\Delta_{causal} = \Delta_{remove} - \Delta_{placebo}$) en el estrato donde la respuesta de oro está presente en el output compilado ($1 \to 1$). Esto aísla el efecto de la presencia de la respuesta de oro del efecto general de editar el texto.
   • Alcance: La auditoría abarca 12 ejecuciones de intervención en tres familias de lectores (Qwen2.5-7B, Qwen3.5-35B, GLM-4.7), dos conjuntos de datos (HotpotQA, 2WikiMultihopQA) y tres configuraciones de compilador.

2. Auditoría de Fragilidad del Centinela:

   • Diseño: Para probar la fiabilidad del token [MASK] convencional, los autores aplican cinco centinelas diferentes al mismo estrato emparejado: [MASK], [REMOVED], una frase de eliminación en lenguaje natural, una palabra genérica y una cadena de símbolos.
   • Criterios de Equivalencia: La auditoría verifica si los centinelas alternativos producen resultados estadísticamente equivalentes a [MASK]. Si el "residuo de no filtración" cambia de signo o magnitud dependiendo de la elección del centinela, el resultado original de [MASK] se considera frágil.

Resultados Clave

• Dependencia Causal de la Presencia de la Respuesta: En las 12 ejecuciones de intervención, eliminar la respuesta de oro del contexto reescrito causó una caída drástica en el F1 del lector (de 28 a 64 puntos) en comparación con el placebo de longitud equivalente. La intervención placebo (eliminar texto aleatorio) resultó en cambios mínimos de F1 (de 0 a 13 puntos, a veces incluso positivos). El efecto causal calculado ($\Delta_{causal}$) osciló entre -28.2 y -64.1 puntos F1, lo que indica que la presencia de la cadena de la respuesta de oro es el principal motor del aumento de rendimiento.
• Efectos de Inserción: Preceder la respuesta de oro en las reescrituras que originalmente carecían de ella recuperó los puntajes F1 en +0.7 a +9.7 puntos en 10 de las 12 combinaciones. Sin embargo, insertar la respuesta en un límite de oración de punto medio produjo resultados mayoritariamente no positivos, lo que sugiere que la capacidad del lector para utilizar respuestas inyectadas es sensible a la posición.
• Fragilidad del Centinela: La sonda [MASK] convencional resultó poco fiable. En 2WikiMultihopQA, [MASK] reportó un residuo de "no filtración" de +4.12 F1. Sin embargo, bajo cuatro centinelas alternativos, este residuo cambió a valores negativos (-3.33 a -7.81 F1). Solo 1 de cada 4 centinelas alternativos pasó la prueba de equivalencia, lo que indica que el residuo positivo era en gran medida un artefacto del propio token [MASK].

Significancia y Reivindicaciones
El artículo no propone una nueva arquitectura de reescritor ni una estrategia de mitigación. En su lugar, su contribución es diagnóstica:

1. Primera Auditoría Controlada: Presenta la primera auditoría de intervención de presencia de respuesta controlada para procesos RAG de "compilar-luego-leer", demostrando que la mayor parte del aumento de F1 en benchmarks de saltos múltiples es impulsado causalmente por el reescritor que hace aparecer la cadena de la respuesta de oro, más que por la curaduría de la evidencia por sí sola.
2. Resultado Negativo sobre el Enmascaramiento: Proporciona evidencia de que los diagnósticos de enmascaramiento de un solo centinela (específicamente [MASK]) son frágiles respecto al centinela y no pueden separar de manera fiable la aparición de la cadena de la respuesta de la curaduría de evidencia genuina.
3. Estándar Reproducible: Los autores lanzan un ejecutor de intervenciones y un panel de centinelas (kit de auditoría) para permitir que futuras afirmaciones de ganancias de reescritores sean probadas contra este estándar controlado.

Los autores concluyen que, si bien es probable que los reescritores realicen cierta curaduría de evidencia, la magnitud de la ganancia de rendimiento no puede atribuirse a la "calidad de la curaduría" sin evidencia controlada adicional, ya que la presencia de la cadena de la respuesta explica la mayor parte del aumento.