Resumen Técnico: StepGap

Enunciado del Problema

La Respuesta a Preguntas de Múltiples Saltos (QA) requiere que los modelos recuperen, conecten y verifiquen evidencia a través de múltiples pasos intermedios. Sin embargo, las evaluaciones actuales y los marcos de Aprendizaje por Refuerzo (RL) en sistemas intercalados con búsqueda siguen siendo orientados al punto final, dependiendo exclusivamente de la Coincidencia Exacta (EM) de la respuesta final. Este enfoque adolece de dos defectos estructurales:

1. Falta de Diferenciación: La EM no puede distinguir entre una cadena de razonamiento fundamentada en evidencia y una incorrecta derivada de memoria paramétrica o atajos.
2. Falta de Localización: Cuando una política falla, la EM proporciona una señal de recompensa cero sin indicar qué paso rompió la cadena, lo que impide que el modelo aprenda comportamientos de reparación específicos del paso.

Los verificadores existentes a nivel de paso o bien colapsan todas las subtareas en una sola llamada a un Modelo de Lenguaje Grande (LLM) o dependen de una única llamada a Inferencia en Lenguaje Natural (NLI). Ninguno de estos enfoques emite simultáneamente etiquetas tipadas (que distinguen tipos de errores específicos) y las fundamenta en decisiones deterministas adecuadas para el entrenamiento. Además, los verificadores post-hoc operan solo después de generar una respuesta completa, perdiendo la oportunidad de redirigir al generador durante el proceso de razonamiento.

Metodología: StepGap

Los autores proponen StepGap, un árbol de decisión híbrido NLI-LLM diseñado para detectar brechas de evidencia a nivel de paso y emitir una de tres etiquetas tipadas, cada una mapeada a una acción de reparación concreta:

• REIVINDICACIÓN CONTRADICTORIA (CC): El paso afirma una afirmación que entra en conflicto con la evidencia recuperada. Reparación: Retractar.
• EVIDENCIA IRRELEVANTE (IE): La evidencia no aborda la entidad o relación necesaria para el paso. Reparación: Re-buscar.
• PUENTE FALTANTE (MB): La evidencia es relevante pero aún no implica la afirmación. Reparación: Búsqueda de puente.

Arquitectura

StepGap opera como un árbol de decisión híbrido de cinco etapas para cada paso de razonamiento $s_i$ (dada la evidencia acumulada $e_{\le i}$):

1. Etapa A (LLM): Verifica la Alineación de Entidad/Relación. Determina si el paso apunta a la entidad/relación correcta antes de la recuperación. Una orientación incorrecta dispara una etiqueta CC.
2. Etapa B (LLM): Verifica la Validez de la Abstención. Comprueba si una afirmación de "no se puede determinar" está fundamentada en la evidencia. Una abstención injustificada dispara CC.
3. Etapa C (LLM): Verifica la Consistencia de Entidad y Extracción de Citas. Comprueba si la evidencia recuperada se refiere a la entidad correcta y extrae una cita textual de apoyo. Una discrepancia dispara IE.
4. Etapa D (NLI): Realiza la Implicación Local. Utiliza un modelo NLI determinista (DeBERTa-v3) para verificar si la cita de la Etapa C implica la afirmación.
   • Implicación $\rightarrow$ sin brecha.
   • Neutral $\rightarrow$ MB.
   • Contradicción $\rightarrow$ CC.
5. Etapa E (NLI): Realiza la Verificación entre Pasos. Para los pasos de conclusión que carecen de una cita local, verifica si la afirmación está implicada por la evidencia de pasos de inferencia anteriores. El fallo dispara IE.

Integración de Recompensas de Proceso

La salida tipada $\tau_i$ se integra en GRPO (Optimización de Política Relativa por Grupos) como una recompensa de proceso por paso:

• Recompensa Base ($r_{base}$): Asigna valores escalares basados en el tipo de brecha (ej. +0.20 para sin brecha, -0.10 para IE, +0.05 para detectar una CC).
• Recompensa de Conformación ($r_{shape}$): Se condiciona a la acción de reparación realizada en el paso subsiguiente. Premia a la política por realizar la reparación correcta (ej. re-buscar tras IE, retractarse tras CC) y penaliza ignorar la brecha o emitir consultas casi duplicadas.

Contribuciones Clave

1. Acoplamiento Tipado Brecha-Acción: El artículo argumenta que las etiquetas tipadas a nivel de paso solo son útiles cuando se acoplan a acciones de reparación específicas. StepGap mapea explícitamente CC, IE y MB a retractación, re-búsqueda y búsqueda de puente, respectivamente.
2. Descomponibilidad Híbrida vs. Cancelación Solo-LLM:
   • En una benchmark anotada por humanos (181 pasos), StepGap alcanza un sF1 de 72.0, estadísticamente indistinguible de una línea base solo-LLM (70.1).
   • Sin embargo, los estudios de ablación revelan una diferencia cualitativa: eliminar cualquier componente de StepGap disminuye el rendimiento (descomposición saludable), mientras que eliminar tres de cuatro componentes de la línea base solo-LLM mejora el rendimiento. Esto indica que el sistema solo-LLM sufre de cancelación de errores competidores, donde las etapas internas enmascaran los errores de las demás, haciéndolo inadecuado para señales de RL fiables.
3. La Trampa Q-F1: Los autores exponen un defecto métrico donde el F1 a nivel de pregunta (Q-F1) se infla mecánicamente por verificadores que marcan cada paso. Un verificador que marca el 95% de los pasos puede alcanzar un Q-F1 casi máximo teniendo una precisión a nivel de paso pobre. StepGap evita esto equilibrando el F1 a nivel de paso (sF1) y la Precisión Balanceada (BA).
4. Eficacia de la Recompensa de Proceso: Utilizar StepGap como recompensa GRPO tipada mejora la Coincidencia Exacta de Qwen2.5-7B-Instruct de 32.1 a 35.4 (en tres semillas) y aumenta el soporte de afirmación-respuesta al 71.5%.

Resultados

• Rendimiento del Verificador: StepGap alcanza sF1=72.0, Q-F1=81.2 y BA=60.6% en la benchmark humana de 181 pasos. Mantiene una distribución saludable de tipos de brecha (IE ~38%, CC ~15%, MB ~6%), mientras que variantes degeneradas (como un solo LLM fuerte) colapsan a marcar casi todo como IE (87.8%), fallando en distinguir tipos de errores.
• Entrenamiento RL:
  • Tipado+Conformación (StepGap con recompensas de conformación) supera la línea base Search-R1 GRPO en +5.6 EM Promedio (29.8 $\rightarrow$ 35.4).
  • También supera a la línea base Search-R1 en +10.9 EM en el conjunto de datos estrictamente fuera de dominio MuSiQue.
  • La señal de recompensa alienta a la política a aumentar los conteos de búsqueda (de 2.5 a 2.8) y realizar reparaciones específicas en lugar de simplemente evitar errores.
• Distilación: Un modelo estudiante Qwen2.5-7B destilado retiene el 87% de la puntuación F1 del profesor sin requerir llamadas a API durante la inferencia, haciendo el sistema escalable para ejecuciones largas de RL.

Significado y Afirmaciones

El artículo afirma que StepGap proporciona una señal de proceso cualitativamente diferente en comparación con los verificadores existentes. Mientras que dos sistemas pueden tener intervalos de confianza de F1 superpuestos, solo aquel con contribuciones de componentes monótonas (StepGap) es adecuado para recompensas RL tipadas. El enfoque solo-LLM, a pesar de una precisión agregada similar, depende de una cancelación de errores que oscurece la naturaleza específica de los fallos, haciéndolo poco fiable para entrenar políticas para realizar reparaciones específicas.

Los autores posicionan a StepGap no meramente como un mejor detector, sino como un componente necesario para el entrenamiento de RAG agéntico, permitiendo que los modelos aprendan cómo arreglar cadenas de razonamiento (retractarse, re-buscar, puente) en lugar de simplemente aprender a evitar errores finales. El trabajo destaca la necesidad de diagnósticos a nivel de paso sobre métricas a nivel de pregunta para evitar la "trampa Q-F1" y asegurar que las mejoras en el entrenamiento de RL sean impulsadas por capacidades de razonamiento genuinas y no por correlaciones espurias.

Limitaciones señaladas por los autores:

• El conjunto de evaluación humana es pequeño (181 pasos), lo que lleva a intervalos de confianza superpuestos con las líneas base; la contribución se enmarca en torno a propiedades arquitectónicas (descomponibilidad) en lugar de una victoria cruda en F1.
• Las magnitudes de recompensa están ajustadas para Qwen2.5-7B y no se transfieren zero-shot a Llama-3.1-8B.
• La detección de retractación depende de la coincidencia de patrones superficiales, lo que teóricamente podría ser vulnerable al hackeo de recompensas, aunque esto no se observó en ejecuciones de 200 iteraciones.