CAF-Gen: A Multi-Agent System for Enriching Argumentation Structures

Resumen Técnico: CAF-Gen

Planteamiento del Problema
El artículo aborda una limitación crítica en las técnicas actuales de Minería de Argumentos (AM, por sus siglas en inglés): si bien identifican eficazmente afirmaciones, premisas y relaciones simples de apoyo o ataque, tienen dificultades para capturar la información estructural más rica requerida por los marcos de argumentación formal avanzados. Específicamente, las salidas estándar de AM carecen de la profundidad semántica necesaria para marcos como el Marco de Argumentación Carneades (CAF), que requiere tipos de premisas distintos (por ejemplo, premisas ordinarias, presuposiciones, excepciones) y estándares de prueba, así como esquemas de argumentación explícitos (por ejemplo, la taxonomía de Walton). Además, la aplicación de tales marcos se ve obstaculizada por la falta de corpus anotados capaces de soportar estas estructuras complejas. Aunque los Modelos de Lenguaje de Gran Escala (LLMs) muestran potencial en el procesamiento del lenguaje natural, la generación de una sola pasada suele fallar al intentar adherirse a las estrictas restricciones lógicas de la argumentación formal, lo que conduce a alucinaciones e inestabilidad estructural.

Metodología: Marco CAF-Gen
Para cerrar la brecha entre las anotaciones de argumentos superficiales y los modelos rigurosos compatibles con CAF, los autores introducen CAF-Gen, un sistema automatizado de agentes múltiples. El marco opera sobre el corpus UKP Argument Annotated Essays v2, transformando grafos de argumentos básicos en estructuras enriquecidas compatibles con CAF a través de un pipeline de Creador-Revisor iterativo:

1. Formulación de la Tarea: El sistema trata el problema como una transformación de grafo que preserva la estructura. Mapea un grafo de origen ($G_{src}$) que contiene componentes básicos (Afirmaciones Mayores, Afirmaciones, Premisas) y relaciones (Apoyo, Ataque) a un grafo CAF de destino ($G_{CAF}$). El grafo de destino enriquece los nodos con tipos de enunciados y estándares de prueba, y las aristas con esquemas de argumentación y polaridad.
2. El Agente Creador: Este agente generativo toma una unidad del corpus y construye una entrada de CAF candidata. Sus subtareas incluyen:
   • Mapear componentes a enunciados de CAF (por ejemplo, mapear Afirmaciones Mayores a conclusiones).
   • Clasificar tipos de enunciados (premisa ordinaria, presuposición, excepción).
   • Asignar estándares de prueba (por ejemplo, Escintila de Evidencia, Preponderancia de la Evidencia).
   • Identificar esquemas de argumentación de la taxonomía de Walton.
3. El Agente Revisor: Actuando como crítico, este agente evalúa la salida del Creador frente a una lista de verificación de integridad, coherencia textual y completitud. Señala problemas como inconsistencias estructurales, selecciones incorrectas de esquemas o campos faltantes.
4. Refinamiento Iterativo: Si el Revisor rechaza el modelo (debido a Errores o Advertencias), proporciona retroalimentación específica y el Creador revisa el modelo. Este ciclo continúa hasta que el modelo es aceptado o se alcanza un límite de iteración predefinido (cinco ciclos). El sistema utiliza el modelo Gemini 2.5 Pro de Google con una temperatura baja (0.1) para asegurar la adherencia determinista al esquema.

Contribuciones Clave

• Enriquecimiento Automatizado: La introducción de un marco de agentes múltiples capaz de enriquecer automáticamente estructuras de argumentos superficiales en modelos complejos compatibles con CAF sin requerir corpus anotados previos para el esquema objetivo.
• Control de Calidad Iterativo: La validación de un pipeline de Credor-Revisor iterativo adaptado específicamente para la argumentación formal. Este enfoque mitiga la inestabilidad estructural típica de la generación de un solo paso de los LLM mediante la simulación de inteligencia colectiva para refinar las salidas.
• Transformación Anclada: Una metodología que asegura que los modelos enriquecidos permanezcan anclados en la estructura de entrada original, evitando la introducción de nodos o aristas sin fundamento mientras se añaden los atributos lógicos necesarios.

Resultados Experimentales
El sistema fue evaluado en el corpus completo UKP Argument Annotated Essays v2 (402 ensayos).

• Efectividad del Refinamiento (Q1): El proceso iterativo resultó esencial. La Tasa de Aceptación de Primera Pasada fue de solo 34.6%, pero tras el refinamiento, la Tasa de Aceptación Final aumentó al 91.3%. El número promedio de iteraciones por ensayo aceptado fue de 2.35. Los problemas más comunes señalados por el Revisor fueron Inconsistencias Estructurales (44.7%) y Selección Inadecuada de Esquemas de Argumentación (38.9%).
• Fidelidad Estructural (Q2): Para medir qué tan bien los modelos enriquecidos preservaban la estructura argumentativa original, la salida se proyectó de nuevo al esquema de origen.
  • Identificación de Componentes: Logró una Precisión de 99.8%, un Recall de 98.8% y un F1-score de 99.3%.
  • Identificación de Relaciones: Logró un Recall de 99.1% pero una Precisión menor de 67.1% (F1-score: 80.0%). Los autores señalan que la menor precisión indica que el sistema no solo preserva las relaciones originales, sino que también añade proactivamente nuevas conexiones que eran implícitas en el texto de origen.

Significancia y Reivindicaciones
El artículo sostiene que CAF-Gen demuestra una metodología robusta para el modelado automatizado de la argumentación formal. La significancia principal radica en demostrar que los sistemas de agentes múltiples pueden superar las limitaciones de la generación de un solo paso, mejorando significativamente la calidad de la salida mediante bucles de retroalimentación iterativos. Los autores afirman que su sistema logra cerrar la brecha entre las anotaciones de argumentos básicos y las estructuras detalladas exigidas por el Marco de Argumentación Carneades.

El trabajo sugiere que la colaboración de agentes múltiples es crucial para asegurar la integridad estructural y la riqueza semántica de los modelos generados, una tarea que anteriormente se creía requería un juicio de nivel humano. Al conectar la argumentación del lenguaje natural con esquemas de razonamiento formal, la investigación contribuye al desarrollo de sistemas inteligentes para dominios que requieren precisión, como el razonamiento legal y el debate académico. Los autores mantienen la modestia respecto a la corrección absoluta de las nuevas características de CAF asignadas (debido a la falta de verdad de referencia para tales estructuras complejas), pero enfatizan que el sistema respeta de manera fiable las estructuras argumentativas subyacentes sin comportamientos destructivos.