Resumen Técnico: Aprendizaje Neurasimbólico para la Argumentación en Tiempo de Inferencia

Declaración del Problema

La verificación de afirmaciones es una tarea crítica en dominios de alto riesgo, como la atención sanitaria, las finanzas y el descubrimiento científico. Aunque los Modelos de Lenguaje Grandes (LLM) han demostrado ser prometedores en este ámbito, la clasificación binaria estándar (Verdadero/Falso) suele ser insuficiente cuando la información subyacente es incompleta o conflictiva. En tales casos, un veredicto de "Incierto" es más apropiado que una decisión binaria forzada. Además, en entornos de alto riesgo, las explicaciones de estos veredictos deben ser fiables, lo que significa que el proceso de razonamiento debe reflejar genuinamente los factores que determinan la decisión final, en lugar de depender de racionalizaciones a posteriori que pueden no ser fieles a la lógica interna del modelo.

Los enfoques existentes a menudo tratan la argumentación como una capa de explicación en tiempo de inferencia o se basan en LLMs comerciales para generar argumentos sin optimizarlos para la tarea específica de verificación. Además, muchos enfoques de aprendizaje por refuerzo (RL) para el razonamiento se centran en tareas con resultados verificables y deterministas (por ejemplo, matemáticas), sin abordar la incertidumbre inherente a la verificación de afirmaciones, donde los resultados pueden ser ambiguos.

Metodología: Argumentación en Tiempo de Inferencia (ITA)

Los autores introducen la Argumentación en Tiempo de Inferencia (ITA), un marco neurasimbólico entrenable diseñado para la verificación ternaria de afirmaciones (Verdadero, Falso, Incierto). A diferencia de los métodos anteriores que utilizan la argumentación únicamente para la explicación, ITA integra semánticas de argumentación formal directamente en el bucle de entrenamiento para guiar tanto la generación de argumentos como su puntuación.

Marco Central

El sistema opera sobre Marcos de Argumentación Bipolar Cuantitativos (QBAF):

1. Generación de Argumentos: Un LLM (parametrizado por $\theta$) genera un conjunto de argumentos de apoyo ($S_c$) y de ataque ($T_c$) para una afirmación dada $c$. La propia afirmación se trata como un argumento $a_c$.
2. Asignación de Puntuación Base: Un Modelo de Puntuación Base (BSM) entrenable (parametrizado por $\phi$) asigna una fuerza intrínseca (puntuación base) $\tau(a) \in [0, 1]$ a cada argumento generado. La puntuación base de la afirmación se fija en una priori neutral de 0.5.
3. Agregación Semántica: Una función de semántica de argumentación determinista, DF-QuAD, agrega las puntuaciones base y las relaciones de apoyo/ataque para calcular una fuerza argumentativa final $\hat{v}_c = \sigma(a_c)$ para la afirmación.
4. Derivación del Veredicto: La fuerza final se mapea a un veredicto ternario utilizando umbrales fijos:
   • Falso: $\hat{v}_c \leq 1/3$
   • Verdadero: $\hat{v}_c \geq 2/3$
   • Incierto: $1/3 < \hat{v}_c < 2/3$

Estrategias de Entrenamiento

ITA emplea dos fases de entrenamiento distintas para optimizar los componentes:

1. Aprendizaje Débilmente Supervisado para Puntuaciones Base (BSM):

   • Fase de Primado: La cabeza de regresión del BSM se inicializa mediante aprendizaje supervisado en tripletes de (afirmación, argumento, puntuación base), donde las puntuaciones se generan mediante la solicitud a un LLM base.
   • Fase de Pérdida Semántica: El BSM se ajusta fino utilizando una función de pérdida neurasimbólica. La pérdida es el Error Cuadrático Medio (MSE) entre la fuerza de la afirmación predicha (derivada mediante DF-QuAD) y la etiqueta de verdad fundamental (mapeada a 0, 0.5 o 1). Dado que DF-QuAD es diferenciable, los gradientes pueden retropropagarse a través de la semántica para actualizar el BSM.
   • Pérdidas Auxiliares: Para mejorar las propiedades locales, los autores introducen Pérdida de Consistencia (minimizando la varianza para argumentos semánticamente equivalentes) y Pérdida de Clasificación (imponiendo un orden predefinido de calidad de los argumentos).

2. Aprendizaje por Refuerzo para la Generación de Argumentos:

   • El generador de argumentos se optimiza mediante Optimización de Política Relativa por Grupos (GRPO).
   • Función de Recompensa: La recompensa se deriva de la fuerza final de la afirmación $\hat{v}_c$ producida por el BSM y DF-QuAD. Proporciona la recompensa máxima para fuerzas que caen dentro del intervalo de clasificación correcto (por ejemplo, alta fuerza para etiquetas "Verdadero") y recompensas que disminuyen linealmente a medida que la fuerza se aleja del umbral correcto. Esto convierte la semántica de la argumentación en una señal de entrenamiento, incentivando al generador a producir argumentos que conduzcan a veredictos correctos.

Contribuciones Clave

1. Marco Neurasimbólico Entrenable: La introducción de ITA, que extiende el papel de la argumentación desde una capa estática de explicación en tiempo de inferencia hasta una interfaz de aprendizaje dinámica donde la semántica guía el entrenamiento del modelo.
2. Estrategias de Optimización: La propuesta de dos estrategias de entrenamiento novedosas:
   • Aprender puntuaciones base a través de veredictos argumentativos posteriores en lugar de depender únicamente de puntuaciones estáticas de LLM.
   • Utilizar semánticas de argumentación formal para generar recompensas para el aprendizaje por refuerzo, optimizando la generación de argumentos para la tarea específica de verificación de afirmaciones.
3. Explicabilidad Fiable: Por construcción, el veredicto final es una función determinista de los argumentos generados, sus puntuaciones aprendidas y la semántica. Esto asegura que la explicación sea fiel al proceso de decisión, evitando las trampas de las trazas de razonamiento a posteriori.

Resultados Experimentales

Los autores evaluaron ITA en dos conjuntos de datos de verificación ternaria de afirmaciones: TFU Evaluation Claims (derivado de StrategyClaim y DEBATunE) y AVeriTeC (afirmaciones del mundo real). Compararon ITA con líneas base no argumentativas (predicción directa mediante SFT y GRPO) y líneas base argumentativas (utilizando LLMs comerciales para argumentos y puntuaciones).

• Rendimiento:

  • Modelos de Puntuación Base: Los BSM aprendidos superaron significativamente a las líneas base argumentativas que utilizaban puntuaciones constantes o solicitadas. El BSM de mejor rendimiento (entrenado con argumentos generados por GPT-5 con pérdidas semánticas, de clasificación y de consistencia) logró una precisión de 0.677 en TFU y una precisión equilibrada de 0.460 en AVeriTeC, superando a todas las líneas base explicables de manera fiable y compitiendo con las líneas base de predicción directa más fuertes.
  • Generadores de Argumentos: Entrenar el generador de argumentos mediante GRPO produjo resultados mixtos pero positivos, mostrando ligeras mejoras sobre los generadores no entrenados cuando se emparejaban con puntuaciones solicitadas, aunque las ganancias fueron menos consistentes que las obtenidas al entrenar el BSM.
  • Combinación: Combinar un generador entrenado con un BSM entrenado no produjo mejoras aditivas sobre el mejor BSM por sí solo, lo que sugiere que el evaluador está calibrado para una distribución de argumentos específica.

• Propiedades Locales: El entrenamiento con pérdidas auxiliares mejoró significativamente la consistencia de las puntuaciones para argumentos parafraseados y la clasificación de los argumentos por calidad, demostrando que el marco puede aprender propiedades locales deseables más allá de la precisión posterior.

Significado y Afirmaciones

El artículo afirma que ITA demuestra que las semánticas de argumentación formal pueden servir como una señal de entrenamiento útil para los LLM, no solo como una regla de agregación en tiempo de inferencia. Al integrar la argumentación en el bucle de entrenamiento, el sistema logra un rendimiento competitivo con los métodos de predicción directa mientras mantiene la fidelidad procedimental: el veredicto se deriva explícitamente de estructuras argumentativas inspeccionables.

Los autores posicionan este trabajo como un paso hacia una IA más transparente y fiable en dominios de alto riesgo, donde la capacidad de explicar por qué una afirmación es incierta o falsa es tan importante como la clasificación en sí misma. Reconocen limitaciones, incluida la falta de recuperación de evidencia externa (los argumentos se generan a partir del conocimiento del modelo) y la restricción a marcos de argumentación de profundidad 1, señalando estos aspectos como direcciones para trabajos futuros.