Resumen Técnico: Representación y Cobertura de Argumentos (ARC)

Declaración del Problema

Si bien los Modelos de Lenguaje de Gran Escala (LLMs) han logrado fluidez en la sumarización abstractiva, su fiabilidad en dominios de alto riesgo (como el derecho y la ciencia) se ve comprometida por las frecuentes alucinaciones y la omisión de contenido clave. Las métricas de evaluación existentes a menudo no logran distinguir entre la fluidez y la completitud fáctica, particularmente en la sumarización de documentos largos donde los argumentos críticos están distribuidos de forma dispersa. Los métodos actuales tienen dificultades para proporcionar diagnósticos interpretables sobre qué información específica falta o está mal representada, y si los LLMs preservan inherentemente las estructuras argumentativas salientes sin supervisión explícita.

Metodología: El Marco ARC

Los autores presentan la Representación de Cobertura de Argumentos (ARC, por sus siglas en inglés), un marco de evaluación descendente diseñado para evaluar qué tan bien los resúmenes preservan los argumentos salientes. ARC opera jerárquicamente a través de tres niveles de granularidad:

1. Descomposición en Hechos Atómicos:

   • Los roles de argumentos salientes (por ejemplo, Problemas, Razones, Conclusiones en textos legales; Reivindicaciones Propias, Reivindicaciones de Contexto, Datos en textos científicos) se descomponen en conjuntos de hechos atómicos ($F_r$) utilizando un LLM robusto (GPT-4o).
   • Una verificación de implicación filtra los hechos sobregenerados para asegurar que se deriven estrictamente del argumento original.

2. Evaluación a Nivel de Hecho ($\delta$):

   • Cada hecho atómico se compara con el resumen generado utilizando un juez de LLM.
   • El juez asigna un estado binario (respaldado o no) y categoriza el tipo de error: Faltante (omisión) o No Fáctico (contradicción/tergiversación). Esta separación permite diagnosticar si los errores provienen de una mala selección de contenido o de imprecisiones de generación.

3. Agregación Jerárquica:

   • $ARC_{role}$: La puntuación de cobertura para un rol de argumento específico es el promedio de la cobertura de sus hechos atómicos.
   • $ARC_{score}$: La puntuación general del resumen es el promedio de todas las puntuaciones de nivel de rol, proporcionando una medida holística de la preservación del argumento.

Conjuntos de Datos y Modelos:
El marco se aplica a dos dominios:

• CANLII: 1,049 opiniones legales largas donde los roles de argumentos (Problema, Razón, Conclusión) constituyen solo ~7.66% del texto de entrada pero ~66% del resumen de referencia, creando un desafío de "aguja en un pajar".
• DRI (DR. INVENTOR): 40 artículos científicos con contenido argumentativo denso (74.14% de la entrada).

Se evaluaron ocho LLMs de seguimiento de instrucciones de pesos abiertos (que van desde 1B hasta 14B de parámetros, incluyendo las familias LLaMA, Mistral y Qwen) en estos conjuntos de datos.

Resultados Clave

1. Limitaciones de Cobertura y Tipos de Error

• Cobertura Incompleta: Incluso los modelos con mejor desempeño fallan en lograr una cobertura de argumentos perfecta. En dominios legales (CANLII), los mejores modelos se estancan alrededor de un $ARC_{score}$ de 0.72, significativamente por debajo de la referencia humana (0.98).
• Omisión vs. Alucinación: El análisis a nivel de hecho revela que los hechos faltantes son la fuente dominante de error en todos los modelos y dominios, superando ampliamente a los errores fácticos (alucinaciones). Esto sugiere que el desafío principal es recuperar y priorizar el contenido saliente disperso en lugar de generar hechos incorrectos.
• Escalado de Modelos: Los modelos más grandes generalmente logran una mayor cobertura, pero la brecha entre el desempeño del modelo y las referencias humanas sigue siendo sustancial, particularmente en textos legales.

2. Sesgo Posicional (RQ2)

• Sesgo en Forma de U: Consistente con trabajos previos, los modelos exhiben un sesgo posicional en forma de U, favoreciendo el contenido al principio y al final de la ventana de contexto.
• Impacto en Resúmenes Legales: En CANLII, donde los resúmenes de referencia no siguen tendencias posicionales fijas, este sesgo se correlaciona negativamente con la cobertura ($ARC_{score}$). Los argumentos ubicados en la mitad de las largas opiniones legales están sistemáticamente subrepresentados.
• Documentos Científicos: En DRI, la correlación es más débil, ya que los resúmenes de referencia se alinean más estrechamente con los sesgos posicionales naturales de los LLMs.

3. Sesgo Específico de Rol (RQ3)

• Preferencias Sistemáticas: Los LLMs exhiben preferencias sistemáticas por ciertos roles de argumentos.
  • Legal (CANLII): Los modelos favorecen desproporcionadamente las Conclusiones sobre los Problemas y las Razones. El puntaje de sesgo ($\beta$) es consistentemente más bajo para las conclusiones, lo que indica que se preservan mejor.
  • Científico (DRI): Las Reivindicaciones de Contexto tienden a ser cubiertas con menos eficacia que las Reivindicaciones Propias, incluso controlando la longitud del argumento.
• Efecto del Tamaño del Modelo: Los modelos más pequeños (<3B de parámetros) exhiben puntajes de sesgo más altos, lo que indica una cobertura menos equilibrada entre los diferentes roles de argumentos.

4. Validación de la Métrica

• Correlación con Expertos: El $ARC_{score}$ logra la mayor correlación con los juicios de expertos humanos (Kendall's $\tau$ = 0.465, Pearson's $\rho$ = 0.593) en comparación con las métricas estándar (ROUGE, BERTScore) y las líneas base de descomposición como FactScore.
• Interpretabilidad: A diferencia de FactScore, que solo proporciona cobertura a nivel de hecho, ARC ofrece un análisis multinivel (análisis de nivel de rol y diferenciación de tipo de error), lo que lo convierte en una herramienta de diagnóstico superior.
• Robustez del Juez: El marco funciona bien con jueces de pesos abiertos (por ejemplo, DeepSeek-R1-Distill-Qwen-14B), que lograron correlaciones incluso más altas que GPT-4o propietario en algunos entornos.

Significancia y Reivindicaciones

El artículo afirma que ARC proporciona una herramienta de diagnóstico fundamentada e interpretable para evaluar la cobertura de argumentos estructurados en la sumarización de contexto largo. Sus contribuciones principales son:

1. Diagnósticos Granulares: Al distinguir entre omisiones y errores fácticos, y al analizar la cobertura a nivel de rol, ARC revela por qué los resúmenes fallan (por ejemplo, omitiendo argumentos de la zona media o ignorando tipos de roles específicos) en lugar de solo señalar que fallan.
2. Evidencia de Sesgo Sistemático: El estudio descubre que los actuales LLMs de seguimiento de instrucciones tienen sesgos inherentes hacia roles de argumentos específicos (favoreciendo conclusiones) y posiciones de documentos (favoreciendo los extremos), lo que dificulta su fiabilidad en dominios de alto riesgo donde se requiere una argumentación exhaustiva.
3. Necesidad de Alineación: Los resultados subrayan que la fluidez por sí sola es insuficiente. La brecha persistente entre el desempeño del modelo y las referencias humanas, particularmente en contextos legales dispersos, indica la necesidad de estrategias de alineación adicionales (por ejemplo, estructura de argumento explícita en el entrenamiento o en el prompting) para mejorar la cobertura de la saliencia.

Los autores concluyen que, si bien ARC mejora la evaluación de la cobertura, actualmente enfatiza el recuerdo (capturar hechos salientes) sobre la precisión. El trabajo futuro debería apuntar a evaluar conjuntamente ambas dimensiones e integrar la detección de saliencia directamente en el flujo de trabajo de la sumarización.