Evaluating LLM-Driven Summarisation of Parliamentary Debates with Computational Argumentation

Título: Evaluación de la Resumización de Debates Parlamentarios Impulsada por LLM mediante Argumentación Computacional

1. El Problema

La comprensión de cómo se debaten y justifican las políticas en los parlamentos es fundamental para la democracia, pero el volumen y la complejidad de estos debates dificultan su acceso al público general. Aunque los Modelos de Lenguaje Grandes (LLM) permiten generar resúmenes automatizados a gran escala, existe un desafío crítico: evaluar la fidelidad (faithfulness) de estos resúmenes.

• Las métricas automatizadas tradicionales (como ROUGE o similitud semántica) correlacionan mal con los juicios humanos sobre la consistencia factual.
• Los resúmenes generados por LLM a menudo carecen de comprensión lógica, distorsionando los argumentos que justifican u oponen a resultados políticos específicos, lo cual es problemático cuando estos resúmenes actúan como intermediarios entre ciudadanos y representantes.

2. Metodología

Los autores proponen un marco formal basado en la argumentación computacional para evaluar la fidelidad de los resúmenes de debates parlamentarios. La metodología se basa en los siguientes pilares:

• Representación Formal (QBAF): Utilizan Marcos de Argumentación Bipolar Cuantitativos (QBAF) para representar tanto el debate original como su resumen.

  • Un QBAF se define como una cuadruple $\langle X, A, S, \tau \rangle$, donde $X$ son argumentos, $A$ son ataques, $S$ son apoyos y $\tau$ es una puntuación base.
  • Se distinguen dos tipos de argumentos: Argumentos de propuesta (las provisiones o cláusulas debatidas, $X_p$) y Argumentos de discurso (los puntos de vista de los oradores, $X_s$).
  • Los ataques y apoyos provienen exclusivamente de los argumentos de discurso hacia las propuestas u otros discursos.

• Minería de Argumentos:

  • Se utiliza un enfoque de clasificación de relaciones argumentativas (ARC) para extraer pares de oraciones (ataque, apoyo o ninguno) de las transcripciones de los debates del Parlamento Europeo (EP).
  • Se aplican restricciones temporales en los debates originales (un argumento solo puede atacar/apoyar a anteriores), pero se permiten ciclos en los resúmenes.
  • Se evalúan varios modelos LLM (Claude Sonnet, Haiku, Qwen, Llama) para esta tarea de extracción, encontrando que los modelos de razonamiento más grandes en configuración zero-shot superan a los modelos más pequeños fine-tuned.

• Propiedades de Evaluación Formal:
  En lugar de métricas globales, se definen 5 propiedades formales para comparar el QBAF del debate original ($Q$) con el del resumen ($Q^*$):

  1. Relevancia del argumento de discurso ($\pi_{sar}$): Proporción de argumentos de discurso conectados a al menos una propuesta.
  2. Ratio Pro-Contra ($\pi_{pcr}$): Balance de argumentos a favor y en contra de una propuesta específica.
  3. Consistencia de Preferibilidad ($d$-preferability): Mide cuántos argumentos de propuesta mantienen su estado de aceptación (según la semántica d-preferred) en el resumen.
  4. Consistencia de Equilibrio ($\theta$-balance): Verifica si los argumentos que tienen apoyo neto (>0.5) u oposición neta (<0.5) en el original mantienen esa dirección en el resumen.
  5. Precisión $\epsilon$-accurate: Evalúa si la fuerza (puntuación gradual) de los argumentos en el resumen se mantiene dentro de un margen de error $\epsilon$ respecto al original.

3. Contribuciones Clave

• Nuevo Marco de Evaluación: Presentan el primer marco que utiliza la argumentación computacional formal para evaluar la fidelidad de resúmenes de debates políticos, centrándose en la preservación de la estructura argumentativa en lugar de la superposición léxica.
• Propiedades Graduales: Introducen versiones graduales de las propiedades de evaluación (con un grado $\theta$), permitiendo una medición más matizada que las versiones discretas (sí/no).
• Enfoque en Resultados Políticos: El marco ancla la evaluación en las "proposiciones raíz" (las provisiones de la política), asegurando que el resumen comunique fielmente las razones para justificar u oponerse a los resultados políticos.
• Validación Empírica a Gran Escala: Demuestran la viabilidad de construir estos marcos a gran escala utilizando datos del Parlamento Europeo y modelos LLM modernos.

4. Resultados

El estudio se realizó con un conjunto de datos de 511 argumentos de tres debates del Parlamento Europeo (2006-2008).

• Desempeño de Minería: Los modelos LLM grandes (Claude Sonnet 4.5) en configuración zero-shot lograron la mejor precisión (0.74) y F1 (0.78) en la clasificación de relaciones, superando a modelos más pequeños fine-tuned.
• Evaluación de Resúmenes:
  • Las métricas tradicionales (ROUGE, BERTScore, NLI) mostraron que los resúmenes eran semánticamente coherentes y abstractivos, pero no lograron discriminar entre resúmenes con estructuras argumentativas muy diferentes.
  • Las propiedades propuestas revelaron degradaciones significativas:
    • Los resúmenes generados por LLM (especialmente Haiku) fallaron en preservar el balance pro-contra de los debates.
    • Hubo una incapacidad general para comunicar con precisión el equilibrio de evidencia (baja puntuación en Propiedad 4).
    • Se observó una distorsión grave en la fuerza de los argumentos: provisiones que eran muy debatidas en el original ($\sigma \approx 0.5$) aparecieron en los resúmenes como abrumadoramente apoyadas ($\sigma \gg 0.5$), eliminando la argumentación crítica.
  • El modelo más grande (Sonnet) obtuvo mejores resultados en todas las propiedades, pero aún así mostró fallos en la precisión de las fuerzas argumentativas.

5. Significado

Este trabajo es fundamental porque:

• Supera las limitaciones de las métricas actuales: Demuestra que la similitud semántica no garantiza la fidelidad argumentativa, un hallazgo crucial para la transparencia democrática.
• Herramienta para la Democracia: Proporciona una metodología para auditar si los resúmenes automatizados de debates parlamentarios distorsionan la realidad política, lo cual es vital para que los ciudadanos tomen decisiones informadas.
• Dirección Futura: Establece la base para futuras investigaciones que busquen emparejar argumentos similares entre fuentes y resúmenes para realizar análisis de precisión-recall más detallados y detectar alucinaciones específicas en el contenido argumentativo.

En conclusión, el paper propone que la evaluación de resúmenes políticos debe pasar de medir "qué palabras se repiten" a medir "qué argumentos y relaciones lógicas se preservan", utilizando la argumentación computacional como estándar de oro.