Resumen Técnico: ProFact – Aprendizaje por Refuerzo Agéntico para la Verificación de Hechos en Múltiples Etapas

1. Planteamiento del Problema

La verificación automatizada de hechos en entornos de dominio abierto es inherentemente un proceso de decisión de múltiples etapas que involucra la descomposición de afirmaciones, la recopilación de evidencia y la predicción del veredicto. Si bien los enfoques recientes combinan Modelos de Lenguaje de Gran Escala (LLMs) con razonamiento aumentado por recuperación, los métodos existentes suelen optimizar estas etapas de forma aislada o dependen de heurísticas fijas para la coordinación. Esta separación conduce a resultados subóptimos donde las decisiones intermedias (por ejemplo, generar preguntas de verificación) no están alineadas con el objetivo final de la predicción precisa del veredicto. Además, optimizar todo el trayecto de verificación es un desafío debido a la supervisión dispersa y retardada: la etiqueta de veracidad final proporciona una recompensa solo al final del proceso, lo que dificulta la asignación de crédito a acciones intermedias específicas (como una consulta de búsqueda específica o un paso de descomposición).

2. Metodología: Marco de Trabajo ProFact

Los autores proponen ProFact, un marco de aprendizaje por refuerzo (RL) agéntico diseñado para la optimización de extremo a extremo de trayectorias de verificación de hechos en múltiples etapas.

2.1 Formulación como un Proceso de Decisión de Markov (MDP)

ProFact modela la verificación de hechos como un MDP de horizonte finito ($M = (S, A, P, r, \rho_0, T)$):

• Estado ($S$): Incluye la afirmación, las preguntas generadas, la evidencia recuperada, los pares QA (pregunta-respuesta) y la etapa de razonamiento actual.
• Acción ($A$): Acciones unificadas generadas por una única política $\pi_\theta$, que incluyen la generación de preguntas de verificación, la llamada a herramientas de búsqueda, la síntesis de respuestas fundamentadas en evidencia y la predicción del veredicto final.
• Trayectoria: Una secuencia de estados y acciones $(s_0, a_0, r_0, \dots, s_T, a_T, r_T)$ que representa el flujo de trabajo completo de verificación.

2.2 Despliegue de Verificación de Tres Etapas

El agente ejecuta un flujo de trabajo de tres etapas que imita la verificación humana:

1. Etapa de Preguntas: El agente descompone la afirmación en un conjunto de preguntas de verificación ($Q$).
2. Etapa de Búsqueda: Para cada pregunta, el agente realiza una recuperación iterativa de un almacén de evidencia preconstruido (utilizando búsqueda semántica mediante Qwen3-Embedding-0.6B y kNN) y genera respuestas fundamentadas en la evidencia ($A$). El contexto se reinicia entre preguntas para evitar una expansión innecesaria.
3. Etapa de Veredicto: Basándose en la evidencia y las respuestas acumuladas, el agente predice la etiqueta de veracidad final (Soportado, Refutado, No hay Evidencia Suficiente o Evidencia Conflictiva).

2.3 Función de Recompensa Consciente del Proceso

Para abordar la dispersión de la etiqueta final, ProFact introduce una función de recompensa consciente del proceso que proporciona supervisión densa a nivel de etapa:

• Recompensa de la Etapa de Preguntas ($r_q$): Calculada mediante la coincidencia basada en METEOR entre las preguntas generadas y las preguntas de referencia (gold-standard).
• Recompesa de la Etapa de Búsqueda ($r_s$): Calculada mediante la coincidencia basada en METEOR entre los pares pregunta-respuesta generados y las anotaciones de evidencia de referencia.
• Recompensa de la Etapa de Veredicto ($r_v$): Una función indicadora ($1$ si la etiqueta predicha coincide con la etiqueta de referencia, $0$ en caso contrario).
• Retorno Total: La suma de las recompensas a lo largo de la trayectoria, transformando una señal de resultado dispersa en señales de aprendizaje intermedias.

2.4 Optimización mediante GRPO

El marco emplea la Optimización de Política Relativa de Grupo (GRPO) para el entrenamiento. En lugar de utilizar una red crítica separada, GRPO estima la función de ventaja comparando un grupo de $G$ trayectorias muestreadas para la misma afirmación. La ventaja $\hat{A}_{i,g}$ se calcula normalizando el retorno total de una trayectoria frente a la media y la desviación estándar del grupo. Esto permite una optimización estable y de extremo a extremo de la política unificada sin requerir la aproximación de la función de valor, lo cual es difícil dada la naturaleza heterogénea de las recompensas de las etapas y las dependencias de recuperación.

3. Contribuciones Clave

1. Marco de Verificación Agéntico: ProFact unifica la descomposición de afirmaciones, la recuperación de evidencia y la predicción del veredicto en una única política con acciones de recuperación explícitas, formulando la verificación como un problema de toma de decisiones de largo horizonte.
2. Optimización de Trayectoria Consciente del Proceso: La introducción de una función de recompensa consciente del proceso proporciona retroalimentación intermedia densa, permitiendo que el modelo aprenda qué comportamientos intermedios (descomposición, búsqueda, razonamiento) contribuyen a la precisión final.
3. Validación Empírica: Experimentos exhaustivos demuestran que ProFact mejora tanto el rendimiento de la verificación como la eficiencia de la inferencia en comparación con bases sólidas.

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos AVeriTeC utilizando cuatro modelos base de código abierto (Qwen2.5-3B/7B, Qwen3-4B/8B).

• Rendimiento: ProFact superó consistentemente a los modelos de referencia (Consistency, InFact, HerO) en todas las métricas.
  • Puntuación AVeriTeC: ProFact alcanzó las puntuaciones más altas (por ejemplo, 48.00 en Qwen2.5-7B frente a 42.80 para HerO), lo que indica una capacidad de verificación de extremo a extremo superior.
  • Precisión: ProFact mostró una mejora en la precisión de la predicción de la etiqueta final.
  • Calidad Intermedia: ProFact logró los mejores puntajes de METEOR de solo Q (Q-only), lo que indica una descomposición de afirmaciones más fuerte, y puntajes de METEOR de Q&A competitivos.
• Eficiencia: ProFact demostró ganancias significativas en la eficiencia de la inferencia. Comparado con InFact, ProFact redujo el tiempo por afirmación aproximadamente entre un 50 y un 70% y redujo sustancialmente el consumo de tokens (por ejemplo, 0.38M de tokens de salida frente a 0.66M para InFact en Qwen2.5-7B).
• Estudio de Ablación: Eliminar las recompensas de proceso (w/o PR) resultó en una caída consistente del rendimiento en todos los modelos base, confirmando que la supervisión de la etiqueta final por sí sola es insuficiente para aprender trayectorias de múltiples etapas efectivas.
• Comparación de Algoritmos: Se encontró que GRPO era superior a PPO, DAPO y GiGPO para esta tarea, probablemente debido a su capacidad para proporcionar señales estables a nivel de trayectoria sin la complejidad de aprender una función de valor para recompensas de etapas heterogéneas.

5. Significado y Afirmaciones

El artículo afirma que la optimización de trayectoria consciente del proceso es un mecanismo crítico para la verificación de hechos en múltiples etapas. Al tratar la verificación como un proceso de decisión unificado en lugar de un flujo de módulos aislados, ProFact permite que las decisiones tempranas (como la descomposición) se adapten a los requisitos de las etapas posteriores (como la predicción del veredicto). Los resultados resaltan que:

• La supervisión intermedia es esencial para una asignación de crédito efectiva en tareas de largo horizonte.
• El RL agéntico con recompensas conscientes del proceso puede mejorar simultáneamente la precisión y reducir los costos de inferencia al aprender estrategias de verificación más dirigidas y menos redundantes.
• Los modelos más grandes no necesariamente producen una mejor verificación fundamentada en evidencia, ya que pueden depender del conocimiento paramétrico en lugar de la evidencia recuperada; sin embargo, el marco ProFact sigue siendo efectivo en diferentes escalas de modelos.

Los autores concluyen que su trabajo demuestra la efectividad del aprendizaje por refuerzo de extremo a extremo para optimizar flujos de trabajo de razonamiento complejos y de múltiples etapas en la verificación automatizada de hechos.