An LLM-Based System for Argument Reconstruction

Resumen Técnico: Un Sistema Basado en LLM para la Reconstrucción de Argumentos

Enunciado del Problema
La argumentación computacional enfrenta una dicotomía fundamental. Por un lado, los Marcos de Argumentación (AF) formales proporcionan estructuras rigurosas basadas en grafos para evaluar la aceptabilidad de los argumentos, pero tienen dificultades para extraer argumentos de lenguaje natural crudo, fallando a menudo al manejar premisas implícitas, contexto pragmático y la variabilidad del discurso del mundo real. Por otro lado, los Modelos de Lenguaje Grandes (LLM) poseen conocimiento contextual rico y pueden identificar conexiones implícitas, pero carecen de estructuras sistemáticas y teóricamente fundamentadas para representar argumentos. Las generaciones de LLMs comerciales a menudo resultan en salidas inconsistentes difíciles de comparar o agregar, mientras que los enfoques tradicionales de minería de argumentos dependen frecuentemente de características superficiales que pasan por alto relaciones lógicas más profundas. El desafío central es unir estas perspectivas: crear un sistema que aproveche la fluidez y el razonamiento de sentido común de los LLMs, al tiempo que se adhiere al rigor estructural de los marcos formales de argumentación.

Metodología
Los autores proponen un sistema basado en LLM de extremo a extremo que reconstruye argumentos desde texto en lenguaje natural hacia Grafos Acíclicos Dirigidos (DAG). El sistema emplea una tubería de múltiples etapas diseñada para construir progresivamente estructuras argumentativas, asegurando salidas bien formadas mediante restricciones explícitas. La tubería consta de las siguientes etapas:

1. Identificación de Componentes Argumentativos: El LLM identifica y enumera afirmaciones y premisas, filtrando contenido irrelevante. A diferencia de los sistemas basados en reglas, aprovecha la comprensión contextual preentrenada para distinguir los segmentos argumentativos.
2. Fusión y Reescritura (Opcional): Los componentes redundantes o estrechamente conectados se fusionan para garantizar la unidad lógica. Los componentes se reescriben para resolver expresiones dependientes del contexto (por ejemplo, pronombres), haciéndolos autónomos.
3. Identificación de Conclusión y Relaciones:
   • Identificación de Conclusión: Se extrae la conclusión principal.
   • Relación de Premisa (Estrategia Recursiva): Utilizando un recorrido en anchura, el sistema identifica recursivamente las premisas que apoyan o atacan una conclusión objetivo. Esta descomposición reduce la complejidad y hace cumplir una estructura acíclica al restringir las premisas candidatas a componentes no visitados.
4. Refinamiento Estructural Avanzado (Opcional):
   • Verificación de Premisas No Visitadas: Asegura que los componentes desconectados se adjunten o fusionen si forman ciclos.
   • Premisas Enlazadas vs. Convergentes: Distingue entre premisas que justifican conjuntamente una conclusión (enlazadas) y aquellas que proporcionan razones independientes (convergentes), utilizando nodos intermedios para las relaciones enlazadas.
   • Recuperación de Premisas Implícitas: Identifica y genera premisas faltantes (entimemas) necesarias para la validez del argumento.
   • Distinción entre Refutación y Desbaste: Diferencia entre ataques a una premisa (refutación) y ataques al enlace de inferencia en sí mismo (desbaste), insertando nodos intermedios para este último.
5. Construcción y Visualización del Grafo: La salida final es un DAG donde los nodos representan componentes y las aristas dirigidas representan relaciones de apoyo o ataque. El sistema incluye un paso de reducción transitiva para eliminar aristas redundantes y un constructor de diagramas para la inspección visual.

Contribuciones Clave

• Marco Unificado: El artículo presenta un sistema novedoso que integra la extracción impulsada por LLM con restricciones de argumentación formal, uniendo efectivamente la brecha entre el procesamiento del lenguaje natural y la lógica formal.
• Tubería de Extremo a Extremo: Una tubería modular de múltiples etapas que no solo extrae componentes, sino que también infiere relaciones lógicas complejas (desbastes, premisas enlazadas, suposiciones implícitas) y hace cumplir una estructura DAG.
• Nuevo Conjunto de Datos: Los autores construyeron un pequeño conjunto de datos anotado de 42 argumentos derivados de un libro de texto de teoría de la argumentación (Introducción al Análisis Argumentativo de Marcus Sacrini), que incluye diagramas que se alinean con su esquema de representación propuesto.

Resultados Experimentales
El sistema fue evaluado mediante dos experimentos complementarios:

1. Evaluación Interna (Conjunto de Datos del Libro de Texto):

   • Nivel de Componente: El sistema logró una precisión del 92,50% en la detección de conclusiones. La detección de segmentos obtuvo una puntuación F1 de 75,70%, y la precisión en la detección de relaciones fue del 80,57%.
   • Nivel Estructural: Los anotadores humanos calificaron al sistema altamente en una escala de 1 a 3 para Premisas Implícitas (2,86), Desbastes (2,90) y Premisas Convergentes/Enlazadas (2,85), con un alto acuerdo entre anotadores.
   • Nivel Global: Los grafos generados fueron altamente calificados en Completitud (2,96) y Fidelidad (2,92), lo que indica que el sistema captura las estructuras principales sin alucinar contenido.

2. Evaluación Externa (Conjuntos de Datos de Referencia: AAEC y AbstRCT):

   • Cuando se evaluó en los estándares de referencia de minería de argumentos, la tubería completa (incluida la detección de segmentos) mostró un rendimiento inferior (por ejemplo, F1 de 27,64 en AAEC para la clasificación de componentes), principalmente debido a dificultades en la coincidencia exacta de segmentos en comparación con la verdad fundamental.
   • Sin embargo, cuando se proporcionaron componentes de referencia (eludiendo la detección de segmentos), el rendimiento del sistema mejoró significativamente. En el conjunto de datos AbstRCT, logró un F1 de Predicción de Enlace de 51,51 y un F1 de Detección de Relaciones de 46,21, superando la línea base del estado del arte (Morio et al., 2022) en +11,77 y +7,5 respectivamente. Esto sugiere que el modelo captura efectivamente la estructura relacional una vez que se conocen los componentes.

Significado y Afirmaciones
El artículo afirma que el sistema propuesto demuestra el potencial de las tuberías basadas en LLM para la reconstrucción escalable de argumentos. Recupera con éxito estructuras argumentativas que se alinean con los estándares de la teoría de la argumentación, incluyendo fenómenos sutiles como desbastes y premisas implícitas. Los autores concluyen que, aunque el sistema reconstruye adecuadamente argumentos de estilo libro de texto y logra un rendimiento razonable en los estándares de referencia al adaptarse a diferentes esquemas de anotación, persisten desafíos en la identificación de componentes (detección de segmentos). El trabajo destaca que combinar las fortalezas contextuales de los LLM con el rigor estructural de los marcos formales es un camino viable hacia adelante, aunque se necesita trabajo futuro para refinar las estrategias de prompting y evaluar el sistema en conjuntos de datos más complejos y realistas.