Resumen Técnico: Evaluación de la Calidad de los Argumentos con Modelos de Lenguaje Grandes: Un Enfoque de Bradley-Terry por Pares

Declaración del Problema

La evaluación automática de la calidad de los argumentos es crítica para la persuasión efectiva, la toma de decisiones y el análisis del discurso en campos que van desde el derecho hasta la ciencia. Sin embargo, la evaluación manual de la calidad de los argumentos a gran escala sigue siendo un cuello de botella debido a los altos costos y la inconsistencia en la anotación. Si bien los Modelos de Lenguaje Grandes (LLM) han demostrado capacidades en razonamiento y juicio, sigue siendo una pregunta abierta si pueden replicar de manera fiable los juicios a nivel de expertos en la evaluación de la calidad de los argumentos. La investigación existente ofrece resultados mixtos sobre la capacidad de los LLM para evaluar aspectos específicos de la calidad o clasificar argumentos, dependiendo a menudo de conjuntos de modelos limitados o evaluaciones unidimensionales (por ejemplo, persuasividad) en lugar de marcos multidimensionales.

Este estudio aborda la pregunta de investigación: ¿Qué tan bien pueden las comparaciones por pares de los LLM reproducir las clasificaciones de expertos sobre la calidad de los argumentos? Investiga específicamente el rendimiento de los LLM a través de diferentes tamaños, familias y estrategias de prompting en comparación con las anotaciones de expertos humanos.

Metodología

El estudio utiliza el corpus Webis-ArgQuality-20, un conjunto de datos de referencia que comprende 1.610 textos en 20 temas de debate. El conjunto de datos incluye 13.952 comparaciones por pares anotadas por expertos (mediante crowdsourcing) a través de tres dimensiones distintas de la calidad de los argumentos definidas por Wachsmuth et al. (2017b):

1. Calidad Lógica: Se centra en la solidez, incluyendo la aceptabilidad local, la relevancia y la suficiencia de las premisas.
2. Calidad Retórica: Mide la eficacia y la persuasión, abarcando la credibilidad, el apelo emocional, la claridad, la adecuación y la disposición.
3. Calidad Dialéctica: Evalúa la razonabilidad y la capacidad de resolver desacuerdos, incluyendo la aceptabilidad, la relevancia y la suficiencia (refutación).

Configuración Experimental

Los autores evaluaron 12 LLM de pesos abiertos de cinco familias de modelos (Mistral, Llama 3, Qwen2.5, Olmo2 y Command-R), abarcando escalas de parámetros desde 7B hasta 104B. La evaluación siguió un protocolo estricto de comparación por pares donde se instruyó a los modelos para seleccionar el mejor argumento (A, B o Empate) para una dimensión específica de calidad.

Se emplearon tres estrategias de prompting:

• Zero-shot: Ingresar la dimensión y el par de argumentos.
• Cadena de Pensamiento (CoT): Instruir al modelo para razonar internamente sobre subdimensiones (por ejemplo, evaluar la relevancia local antes de determinar la calidad lógica) antes de emitir la etiqueta final.
• Few-shot: Proporcionar tres ejemplos anotados por tema (uno para A, uno para B, uno para Empate) seleccionados en función de las diferencias en la puntuación de verdad fundamental para garantizar claridad.

Agregación y Métricas

Para derivar puntuaciones de calidad continuas a partir de juicios discretos por pares, el estudio aplicó el modelo de Bradley-Terry (BT). Este enfoque estadístico estima la probabilidad de que un argumento sea preferido sobre otro ($P(d_i \succ d_j) = \frac{\gamma_i}{\gamma_i + \gamma_j}$) para generar puntuaciones de fuerza latente y una clasificación final.

El rendimiento se evaluó utilizando:

• Métricas de Correlación: Coeficientes de Pearson, Spearman y Kendall que comparan las clasificaciones BT derivadas de los LLM frente a las clasificaciones BT derivadas de expertos.
• Métricas de Error: Error Absoluto Medio (MAE) y Error Cuadrático Medio Raíz (RMSE).
• Métricas de Acuerdo: $\kappa$ de Cohen y porcentaje de acuerdo para la comparación directa de etiquetas por pares.
• Estabilidad: $\alpha$ de Krippendorff y análisis de variabilidad a través de tres ejecuciones independientes para medir la consistencia de las predicciones.

Resultados Clave

1. Rendimiento del Modelo vs. Expertos Humanos

El estudio encontró que los LLM logran una correlación moderada con los juicios de expertos humanos, sin que ningún modelo alcance una alineación perfecta.

• Mejor Desempeño: Llama-70B con prompting few-shot logró la mayor alineación. Alcanzó un $\kappa$ de Cohen de 0.493 y correlaciones con las puntuaciones BT de expertos de 0.473 (Pearson), 0.477 (Spearman) y 0.327 (Kendall).
• Segundo Lugar: Qwen2.5-72B (zero-shot) siguió de cerca con correlaciones de 0.463–0.466.
• Tendencias del Tamaño del Modelo: Generalmente, los modelos más grandes (70B+) superaron a las variantes más pequeñas (7B–32B) en correlación con los expertos. Sin embargo, la familia Mistral fue una excepción, donde la variante de 7B superó a la variante de 22B en correlación, aunque la variante de 22B mostró un mayor acuerdo entre anotadores (IAA).
• Estrategias de Prompting: No hubo una preferencia universal por una sola estrategia. El prompting few-shot benefició significativamente a los modelos grandes (Llama-70B, Command-R-104B) pero a menudo fue perjudicial o neutral para los modelos de tamaño medio. La cadena de pensamiento no mejoró consistentemente el rendimiento y en ocasiones redujo las puntuaciones de correlación en comparación con zero-shot.

2. Alineación entre LLM

Al comparar otros modelos frente a la configuración de mejor rendimiento (Llama-70B con few-shot):

• Qwen2.5-72B y Olmo2-32B mostraron una fuerte alineación con Llama-70B.
• Qwen2.5-7B (la variante pequeña) se alineó sorprendentemente bien con su contraparte más grande y la mejor configuración.
• Mistral-22B mostró una correlación cercana a cero con Llama-70B, lo que sugiere una comprensión divergente de las dimensiones de calidad a pesar de que ambos modelos lograron un acuerdo moderado con los expertos humanos. Esto indica que diferentes modelos pueden capturar perspectivas complementarias sobre la calidad de los argumentos.

3. Estabilidad y Variabilidad

Las predicciones de los LLM fueron generalmente estables a través de tres ejecuciones de prueba independientes.

• Modelos Pequeños: Exhibieron alta estabilidad (a menudo 100% de acuerdo entre ejecuciones) pero menor precisión en relación con los expertos.
• Modelos Grandes: Mostraron una variabilidad ligeramente mayor pero se beneficiaron del prompting few-shot, lo que redujo la ocurrencia de etiquetas "todos desiguales" (conflictivas).
• Peor Caso: Mistral-22B con prompting few-shot produjo la mayor variabilidad, con 7.75% de los casos resultando en etiquetas diferentes en las tres ejecuciones.
• Conclusión: Las estrategias de agregación como la votación mayoritaria son efectivas para manejar la variabilidad restante.

Significado y Contribuciones

El artículo reclama tres contribuciones principales:

1. Evaluación Sistemática: Proporciona la primera evaluación extensa de 12 LLM de pesos abiertos de cinco familias y tres estrategias de prompting para la evaluación multidimensional de la calidad de los argumentos.
2. Aplicación de Bradley-Terry: Es, según el conocimiento de los autores, la primera aplicación del modelo de Bradley-Terry para agregar juicios comparativos basados en LLM en la minería de argumentos, yendo más allá de las evaluaciones simples de escala Likert.
3. Perspectivas sobre el Comportamiento del Modelo: El estudio revela que, aunque los LLM aún no igualan el rendimiento a nivel de expertos, ofrecen una aproximación "prometedora pero moderada". Crucialmente, destaca que diferentes modelos exhiben una comprensión parcial pero complementaria de las dimensiones de calidad. Esto sugiere que el ensamblaje de diversos modelos podría superar potencialmente la dependencia de un solo modelo de mejor rendimiento.

Los autores mantienen una postura modesta, reconociendo que los LLM aún no son un reemplazo para los expertos humanos, sino que sirven como una herramienta escalable para aproximar las clasificaciones de expertos. Enfatizan que la correlación moderada (hasta $\kappa \approx 0.49$) resalta tanto el potencial como las limitaciones actuales de los LLM como evaluadores.

Limitaciones

El estudio señala varias limitaciones en cuanto a la validez:

• Validez Interna: La estabilidad se probó a temperatura 1; no se ablandaron temperaturas más bajas. Las diferencias en la formulación de los prompts entre familias de modelos pueden influir en la interpretación.
• Validez Externa: Los resultados se basan en argumentos de debate cortos y en línea y pueden no generalizarse a textos complejos como ensayos. La verdad fundamental se limita al grupo específico de anotadores del conjunto de datos Webis-ArgQuality-20. El estudio no incluyó ajuste fino, lo que podría producir características de rendimiento diferentes.
• Validez de Constructo: Existe el riesgo de que los LLM evalúen basándose en características superficiales (por ejemplo, frases confiantes) en lugar de la validez lógica profunda. La separación de dimensiones en los prompts puede no prevenir completamente la contaminación cruzada de dimensiones en el razonamiento del modelo.
• Validez de Conclusión: El tamaño del conjunto de datos (13.952 comparaciones) es menor que en algunos trabajos anteriores, lo que podría limitar la robustez estadística de las clasificaciones de Bradley-Terry.