Resumen Técnico: PEARL – Capa de Reparación Auditable para la Extracción de Grafos de Razonamiento Científico

Declaración del Problema

La Extracción de Grafos de Razonamiento Científico (SRGE, por sus siglas en inglés) tiene como objetivo recuperar vínculos estructurados entre observaciones, evidencia, afirmaciones intermedias y conclusiones a nivel de artículo de la literatura científica. Aunque los Modelos de Lenguaje Grande (LLM) pueden generar explicaciones de tipo grafo con nodos y aristas semánticamente útiles, sus salidas puras a menudo no cumplen con los rigurosos estándares requeridos para flujos de trabajo científicos fiables. Los modos comunes de falla incluyen sintaxis malformada (por ejemplo, DOT inválido), deriva en las etiquetas de las aristas, raíces orientadas incorrectamente, puntos finales faltantes y anclajes de origen débiles.

Los enfoques actuales enfrentan un dilema: si el parseo, la reparación y la evaluación se confunden, los procesos pueden descartar material de grafos recuperable o regenerar silenciosamente grafos que ya no reflejan la salida original del modelo. Existe una falta de un marco que trate las respuestas puras de los LLM como material estructural condicional para la reparación en lugar de artefactos de confianza, asegurando que la validez semántica esté ligada al feedback del juez y a la reevaluación.

Metodología: El Marco PEARL

PEARL (Capa de Abstracción y Reparación de Extracción Peirceana) es un marco libre de entrenamiento diseñado para convertir las respuestas de grafos ruidosas de los LLM en grafos de razonamiento semánticamente válidos y auditables. Desacopla la admisibilidad estructural de la validez semántica mediante un proceso por etapas:

1. Contrato de Grafo Referenciado por la Fuente

PEARL define un grafo de razonamiento dirigido $\mathcal{G}=(p, \mathcal{V}, \mathcal{E}, r)$ donde:

• Nodos contienen un identificador local, texto en lenguaje natural y una tupla de referencia de la fuente $(x, y, z)$ que apunta a oraciones, puntos de vista u opiniones específicas en el artículo fuente.
• Aristas están tipificadas usando una taxonomía peirceana cerrada: $\{ded-rule, ded-case, ind-common, ind-case, abd-phen, abd-know\}$.
• Restricciones requieren etiquetas de arista cerradas, puntos finales conocidos, ausencia de bucles sobre sí mismos y una única raíz terminal. Una "unidad de razonamiento" se define como un nodo objetivo con aristas peirceanas entrantes válidas que forman un patrón coherente.

2. Materialización Estructural con Tolerancia (Etapa 1)

El proceso extrae regiones de tipo grafo de las respuestas puras e intenta un parseo DOT estricto. Si esto falla, invoca una ruta de recuperación tolerante a la sintaxis que acepta formas similares a DOT, delimitadores laxos y campos explícitos de XML/plist, siempre que los nodos y aristas correspondientes estén presentes en la superficie de la respuesta. Crucialmente, esta etapa no inventa nodos científicos faltantes, no sintetiza aristas omitidas ni completa afirmaciones parcialmente especificadas. La salida se normaliza en una representación de grafo canónica, separando el andamiaje de almacenamiento (ej. raíces de agregación de ingeniería) de la vista de evaluación.

3. Reparación de Esquema Determinista

Antes del juicio semántico, PEARL aplica reparaciones deterministas para abordar la corrupción del esquema:

• Canonicalización de alias de etiquetas de arista a la taxonomía peirceana cerrada.
• Desduplicación de elementos y eliminación de puntos finales inválidos/bucles sobre sí mismos.
• Reparación de la orientación de la raíz basada en reglas de prioridad fijas.
• Registro de cada operación como metadato de auditoría.
  Si satisfacer las restricciones estructurales requiere una inferencia no soportada, el proceso registra un fallo tipificado en lugar de tratarlo como una corrección semántica.

4. Reparación Semántica por Feedback del Juez (Etapa 2)

Esta etapa opera sobre el grafo fuente liberado y la evidencia del artículo emparejada:

• Evaluación: El sistema ejecuta una evaluación de la fuente para obtener el Anclaje de Contenido (CG) y la Precisión de la Arista de Razonamiento (REA), junto con decisiones locales del juez sobre las unidades de razonamiento.
• Reparación Guiada por Votación: Los anclajes de razonamiento mayoritariamente correctos se retienen como la columna vertebral del grafo. Las unidades rechazadas (tipos de arista, pasos de razonamiento o raíces) se reparan basándose en el feedback local del juez emparejado.
• Reevaluación: El grafo reparado se evalúa nuevamente bajo el mismo protocolo. Solo los componentes de razonamiento que no han cambiado y fueron aceptados previamente conservan votos limpios; todos los componentes reparados deben ser juzgados de nuevo.

5. Puerta Final y Auditoría de Procedencia

Un candidato se acepta estrictamente solo si satisface la puerta final: CG = 1.0 y REA = 1.0.

• Las muestras que fallan esta puerta reciben etiquetas residuales tipificadas en lugar de ser descartadas.
• La procedencia se audita por separado utilizando F1 de tokens y puntuaciones de contención de nodo-a-extensión contra el artículo fuente.
• MiniCheck se utiliza como un suplemento externo para diagnósticos de anclaje de la fuente, pero no es la puerta de aceptación estricta.

Contribuciones Clave

1. Marco de Materialización Libre de Entrenamiento: PEARL define un método para convertir respuestas de grafos heterogéneas de LLM en artefactos auditables bajo un esquema peirceano cerrado sin necesidad de ajuste fino (fine-tuning).
2. Mecanismo de Reparación por Feedback del Juez: Introduce un proceso de reparación para la corrección semántica donde los pasos de inferencia local, tipos de arista y raíces terminales rechazados se corrigen mediante operaciones locales registradas y se reevalúan, evitando la regeneración completa y sin restricciones de todo el grafo.
3. Validación Empírica: El marco se evalúa en el benchmark ARCHE a través de cinco archivos de LLM distintos, demostrando mejoras sustanciales en la validez semántica estricta y la liberación de salidas de grafos aptas para flujos de trabajo de agentes de investigación.

Resultados Experimentales

La evaluación se realizó sobre 350 filas (5 modelos $\times$ 70 artículos cada uno) del benchmark ARCHE, cubriendo Claude Sonnet 4.5, Gemini 3.1 Pro Preview, GPT-5.2, Grok 4.1 Thinking y Qwen3.5-397B-A17B.

• Aprobación de la Puerta Estricta: El baseline de los LLM logró 0/350 aprobaciones. PEARL mejoró esto a 300/350.
• Mejoras de Métricas:
  • El Anclaje de Contenido (CG) promedio mejoró de 0.827 a 0.896.
  • La Precisión de la Arista de Razonamiento (REA) promedio mejoró significativamente de 0.339 a 0.906.
• Rendimiento de los Modelos: GPT-5.2 logró el mayor rendimiento, alcanzando la puerta estricta en 68/70 filas con un REA final de 1.000. Otros modelos mostraron grados variables de mejora, con todos pasando de cero aprobaciones de baseline a al menos 53 aprobaciones.
• Análisis Residual: De las 50 filas que fallaron en pasar, la causa principal fue la ausencia de un ancla de reparación fiable (31 filas), seguida por fallos en la puerta métrica final (13 filas). Esto indica que el cuello de botella suele residir en la recuperación del enlace de la fuente aguas arriba, más que en el mecanismo de reparación.
• Estudios de Ablación: Eliminar la construcción de la raíz o el feedback iterativo redujo significativamente las tasas de aprobación (por ejemplo, "Solo Raíz" logró 102/350 aprobaciones frente a 300/350 de PEARL completo), confirmando que los errores de razonamiento local se propagan hacia arriba y no pueden corregirse solo con la reparación de la raíz.

Significado y Reivindicaciones

El artículo afirma que PEARL proporciona una "capa de fiabilidad" necesaria para los flujos de trabajo de agentes de investigación y científicos de IA que requieren trazas de razonamiento inspeccionables. Al tratar las salidas puras de los LLM como material condicional para la reparación en lugar de artefactos de confianza, PEARL asegura que:

• Las salidas de grafos no solo sean sintácticamente analizables, sino semánticamente válidas según una puerta estricta.
• El proceso de reparación preserve una pista de auditoría, distinguiendo entre la normalización estructural y la corrección semántica.
• El marco evita el problema de la "regeneración silenciosa", donde un proceso podría producir un grafo que ya no refleja la salida original del modelo.

Los autores enfatizan que, si bien PEARL mejora sustancialmente la utilidad de los grafos de razonamiento generados por LLM, actualmente está limitado al esquema peirceano de ARCHE y a archivos de solo texto. La portabilidad a nuevos esquemas o evidencia multimodal requeriría validadores y verificaciones de evidencia revisados. El trabajo concluye que las salidas de tipo grafo de los LLM requieren una reparación auditada antes de que puedan integrarse de forma segura en flujos de trabajo prácticos de extracción científica.