ArgBench: Benchmarking LLMs on Computational Argumentation Tasks

1. El Problema

Las habilidades de argumentación son fundamentales para que los Modelos de Lenguaje Grandes (LLMs) puedan realizar tareas complejas como la autocrítica, el debate colaborativo y la lucha contra la desinformación o el discurso de odio. Sin embargo, la investigación actual presenta dos carencias principales:

• Falta de Evaluación Estándar: Los benchmarks existentes (como ARC o MMLU) se centran en tareas con una única respuesta correcta (matemáticas, razonamiento común) y no abordan la naturaleza de la argumentación, que implica perspectivas conflictivas y múltiples caminos de razonamiento.
• Evaluación Fragmentada: Los trabajos previos sobre argumentación computacional se limitan a tareas individuales (como la minería de argumentos o la generación) o a conjuntos de datos pequeños, sin ofrecer una evaluación unificada de las capacidades de los LLMs a través de todo el espectro de habilidades argumentativas.

2. Metodología

Los autores proponen ArgBench, el primer benchmark estandarizado y unificado para evaluar enfoques basados en LLMs en tareas de argumentación computacional.

• Construcción del Dataset:

  • Se unificaron 33 conjuntos de datos existentes en un formato común.
  • Se definieron 46 tareas agrupadas en 5 habilidades principales:
    1. Minería de Argumentos: Extracción de unidades, detección de relaciones, segmentación.
    2. Evaluación de Perspectivas: Clasificación de postura, identificación de marcos (frames), similitud de argumentos.
    3. Evaluación de Calidad: Clasificación de calidad, ranking de argumentos, detección de claims subóptimos.
    4. Razonamiento sobre Argumentos: Detección de falacias, identificación de garantías (warrants), clasificación de esquemas.
    5. Generación de Argumentos: Generación de contraargumentos, optimización de claims, resumen de argumentos.
  • Las tareas se modelaron como prompts de clasificación, segmentación o generación, estandarizando entradas y salidas.

• Configuraciones de Evaluación:

  • Prompting (Zero-shot, Few-shot, Chain-of-Thought): Evalúa las capacidades "out-of-the-box" de los modelos sin ajuste fino (fine-tuning).
  • Leave-One-Task-Out: Se entrena el modelo en todas las tareas excepto una (la tarea objetivo) para evaluar su capacidad de generalización a tareas no vistas dentro del dominio de la argumentación.

• Modelos Evaluados:

  • Se probaron 10 LLMs de 5 familias diferentes (Mistral, Qwen, Llama, DeepSeek-R1, Phi-3.5) con tamaños que van desde 4B hasta 70B parámetros, más GPT-4.1 (cerrado) como referencia.

• Métricas:

  • Para clasificación y segmentación: Macro F1-score.
  • Para generación: BertScore (similitud semántica), complementado con una evaluación manual en la tarea de generación de contraargumentos (calidad, capacidad de contraargumentar y relevancia).

3. Contribuciones Clave

1. ArgBench: Un benchmark exhaustivo con 46 tareas y 33 datasets que cubre el espectro completo de habilidades de argumentación computacional, superando en amplitud a cualquier estudio previo.
2. Análisis Cuantitativo de Generalización: Una evaluación sistemática de cómo los LLMs generalizan habilidades de argumentación entre diferentes tareas y dominios.
3. Insights sobre Habilidades: Identificación de qué habilidades los modelos dominan por defecto y cuáles requieren más recursos o enfoques más sofisticados.
4. Análisis de Técnicas de Prompting: Evaluación del impacto del few-shot learning y el Chain-of-Thought (CoT) en tareas de argumentación.

4. Resultados Principales

• Rendimiento General:

  • GPT-4.1 obtuvo el mejor rendimiento general, aunque los modelos de código abierto más grandes (como Llama-3.3-70b y Mistral-22b) mostraron resultados competitivos.
  • El tamaño del modelo es un factor crítico: los modelos más grandes superan consistentemente a los más pequeños, especialmente en minería de argumentos, evaluación de perspectivas y razonamiento.

• Habilidades Específicas:

  • Evaluación de Calidad: Es la habilidad más difícil para los LLMs. El rendimiento es bajo en general y el aumento del tamaño del modelo o el uso de prompting avanzado no mejora significativamente los resultados.
  • Minería y Generación: Los modelos muestran dificultades en la generalización cruzada para estas tareas.
  • Razonamiento: El uso de Chain-of-Thought (CoT) no siempre mejora el rendimiento en tareas de razonamiento argumentativo; en algunos casos (familias Llama, Mistral, Qwen), el rendimiento se mantiene igual o es inferior al zero-shot, debido a errores en el seguimiento de instrucciones y dificultades con el lenguaje emocional.

• Generalización (Leave-One-Task-Out):

  • La generalización entre tareas es limitada. Los modelos entrenados en todas las tareas menos la objetivo rinden peor que cuando se entrenan específicamente en la tarea objetivo.
  • Sin embargo, se observa cierta transferencia positiva en tareas de evaluación de calidad y detección de falacias (ad-hominem), sugiriendo que los modelos pueden aprender conceptos de evaluación que son transferibles, pero tienen dificultades para transferir habilidades de extracción o generación pura.

• Evaluación Manual:

  • Confirmó que el ajuste fino específico para la tarea es crucial para la generación de contraargumentos de alta calidad. Sin entrenamiento específico, los modelos tienden a generar posturas opuestas pero con argumentos poco fundamentados.

5. Significado e Impacto

El trabajo de ArgBench establece un nuevo estándar para la evaluación de LLMs en el dominio de la argumentación. Sus hallazgos indican que, aunque los LLMs han avanzado, todavía carecen de la robustez necesaria para tareas de argumentación complejas, especialmente en la evaluación de calidad y la generalización de habilidades de generación.

El benchmark proporciona una base sólida para:

• Desarrollar técnicas de entrenamiento más específicas para la argumentación.
• Investigar cómo mejorar la generalización de modelos en tareas de razonamiento conflictivo.
• Crear sistemas de IA más seguros y efectivos para aplicaciones sociales críticas, como la detección de desinformación y la moderación de contenido.

En resumen, ArgBench demuestra que la argumentación computacional sigue siendo un desafío significativo para la IA actual y ofrece la herramienta necesaria para medir y superar estas limitaciones.