Resumen Técnico: Razonamiento de Ruta Conformal (CPR)

1. Declaración del Problema

La Respuesta a Preguntas en Grafos de Conocimiento (KGQA) permite un razonamiento interpretable al rastrear rutas a través de triples de entidad-relación estructurados. Sin embargo, en dominios de alto riesgo (por ejemplo, diagnósticos médicos, finanzas), proporcionar una única respuesta determinista a menudo es insuficiente debido a las ambigüedades inherentes en los grafos relacionales. Los enfoques existentes carecen de evaluaciones rigurosas de fiabilidad.

Aunque la Predicción Conformal (CP) ofrece un marco para generar conjuntos de predicción con garantías de cobertura estadística, su aplicación a la KGQA de múltiples saltos presenta dos desafíos críticos:

1. Violación de la Intercambialidad: La CP estándar asume que las muestras de calibración y prueba son intercambiables (independientes e idénticamente distribuidas). En los Grafos de Conocimiento (KG), el razonamiento de múltiples saltos crea dependencias secuenciales; el conjunto de predicción en el salto $k$ determina las entidades alcanzables en el salto $k+1$. Esto crea una cadena de dependencia de Markov que viola la premisa de independencia requerida para las garantías conformales estándar.
2. Puntuación No Discriminativa: Los métodos existentes a menudo dependen de la similitud semántica local o de puntuaciones a nivel de nodo atómico. Estas no capturan la coherencia global de las rutas de múltiples saltos, obligando a los mecanismos conformales a adoptar umbrales excesivamente conservadores para satisfacer la cobertura. Esto resulta en conjuntos de predicción excesivamente grandes que carecen de utilidad práctica.

2. Metodología: Razonamiento de Ruta Conformal (CPR)

Los autores proponen Razonamiento de Ruta Conformal (CPR), un marco que desplaza la unidad de calibración de saltos individuales a rutas de razonamiento completas, acoplado con un mecanismo de puntuación discriminativa aprendido.

2.1. Predicción Conformal Intercambiable por Consulta (QE-CP)

Para resolver la violación de la intercambialidad, CPR trata todo el proceso de razonamiento para una sola consulta como la unidad de calibración.

• Independencia a Nivel de Consulta: Si bien las rutas dentro de una consulta son dependientes, las consultas individuales son muestras independientes extraídas de la misma distribución. Al agregar las puntuaciones de las rutas por consulta, CPR preserva la intercambialidad a nivel de consulta.
• Definición de la Puntuación de No Conformidad: Para una consulta $q$, la puntuación de no conformidad $S(q)$ se define como la puntuación de ruta mínima entre todas las rutas recuperadas que terminan en una entidad de respuesta correcta. Si no se encuentra ninguna ruta correcta, la puntuación es $+\infty$.
• Calibración: Se calcula un umbral $\hat{\tau}_\alpha$ como el cuantil $(1-\alpha)$ de las puntuaciones de un conjunto de calibración. El conjunto de predicción final incluye todas las rutas con puntuaciones por debajo de este umbral, garantizando que el conjunto contenga al menos una ruta de razonamiento correcta con probabilidad $1-\alpha$.

2.2. Puntuación Discriminativa de Rutas mediante RCVNet

Para asegurar que los conjuntos de predicción sean compactos (alta eficiencia), CPR introduce la Red de Valor Conformal Residual (RCVNet), entrenada para producir puntuaciones de ruta altamente discriminativas.

• Recopilación de Trayectorias Guiada por PUCT: Para abordar la escasez de rutas de entrenamiento de verdad fundamental, los autores emplean Predictor + Límites de Confianza Superior aplicados a Árboles (PUCT). Esta estrategia de exploración equilibra la relevancia semántica con la exploración de relaciones poco visitadas.
  • Genera pares de rutas positivas-negativas: Las rutas positivas incluyen rutas de razonamiento de verdad fundamental y rutas válidas alternativas; las rutas negativas comparten prefijos correctos pero se desvían en el último salto.
  • Acumula priors estructurales a nivel de relación (priors conjugados Beta-Bernoulli) que indican la tasa de éxito empírica de relaciones específicas.
• Arquitectura de RCVNet: Una red residual ligera que toma como entrada características de ruta (similitud semántica, incrustaciones de ruta y priors de relación aprendidos).
  • Se optimiza utilizando una pérdida de clasificación por pares para asegurar que las rutas correctas reciban puntuaciones más bajas (más fiables) que las incorrectas.
  • Utiliza capas FiLM para inyectar información contextual de alta dimensión en el procesamiento de características escalares.

2.3. Recuperación TreeG

Durante la inferencia, CPR utiliza TreeG, un método de recuperación basado en árboles que aprovecha las puntuaciones de RCVNet aumentadas por pistas de relación generadas por un LLM. TreeG expande las rutas salto a salto, clasificando los candidatos globalmente para retener un conjunto compacto de rutas activas para el siguiente paso, asegurando una recuperación en línea eficiente sin la sobrecarga estocástica de PUCT.

3. Contribuciones Clave

1. Calibración Conformal Intercambiable por Consulta: Una estrategia de calibración novedosa que encapsula las dependencias de múltiples saltos en puntuaciones a nivel de consulta, preservando la suposición de intercambialidad requerida para garantías estadísticas válidas en KGQA.
2. Puntuación Discriminativa de Rutas Aprendida: La introducción de RCVNet, entrenada en trayectorias recopiladas por PUCT, que aprende a distinguir rutas correctas de negativas plausibles utilizando la coherencia global de la ruta y priors estructurales, lo que conduce a conjuntos de predicción significativamente más ajustados.
3. Validación Empírica: Demostración de que CPR logra garantías de cobertura válidas mientras reduce sustancialmente los tamaños de los conjuntos de predicción en comparación con las líneas base conformes existentes.

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de referencia WebQSP y ComplexWebQuestions (CWQ).

• Cobertura y Eficiencia: CPR supera significativamente a las líneas base (incluyendo UaG, CLM y LoFreeCP).
  • En WebQSP al nivel de riesgo $\alpha=0.5$, CPR logró una Tasa de Cobertura Empírica (ECR) de 61.4% con un Tamaño Promedio del Conjunto de Predicción (APSS) de 7.14. En contraste, la línea base más avanzada UaG logró una ECR más baja del 51.8% con un APSS mucho mayor de 14.29.
  • En el conjunto de datos más desafiante CWQ, UaG no logró satisfacer las garantías de cobertura para $\alpha \le 0.5$ y produjo conjuntos de predicción masivos (APSS > 120). CPR mantuvo una cobertura válida en todos los niveles de riesgo con un APSS de 8.35 en $\alpha=0.6$.
• Eficiencia de Cobertura: CPR demostró una mejora del 140% en la Eficiencia de Cobertura (relación ECR/APSS) sobre UaG en WebQSP y una mejora de 15 veces en CWQ.
• Estudios de Ablación: Eliminar la guía de PUCT o RCVNet resultó en un rendimiento degradado, confirmando que las trayectorias de entrenamiento de alta calidad y la puntuación discriminativa son esenciales para conjuntos de predicción compactos y válidos.

5. Significado y Afirmaciones

El artículo afirma que CPR proporciona un marco confiable para KGQA al cerrar la brecha entre la validez estadística formal de la Predicción Conformal y la complejidad del razonamiento de múltiples saltos.

• Fiabilidad: Ofrece garantías rigurosas de cobertura, asegurando que la verdad fundamental esté contenida dentro del conjunto de predicción en un nivel de riesgo especificado por el usuario.
• Practicidad: Al reducir los tamaños de los conjuntos de predicción en aproximadamente 40% en comparación con las líneas base conformes mientras mejora la cobertura en un 34%, CPR hace que las predicciones de valor conjunto sean accionables para sistemas de apoyo a la decisión.
• Alcance: Los autores posicionan a CPR como una herramienta de apoyo a la decisión para aplicaciones de alto riesgo (salud, finanzas) donde la confianza calibrada es crítica. Señalan explícitamente que las garantías de cobertura son estadísticas y dependen de la calidad del grafo de conocimiento subyacente, y que CPR no debe reemplazar el juicio experto en dominios críticos para la seguridad.