Resumen Técnico: BeDiscovER

Planteamiento del Problema

Si bien los Modelos de Lenguaje de Gran Escala (LLMs) han demostrado capacidades notables en el razonamiento a través de tareas matemáticas, de codificación y de sentido común, su capacidad para procesar y comprender el conocimiento del discurso —la interacción de la información de múltiples oraciones y de contexto largo— sigue siendo una pregunta abierta. Las evaluaciones previas del entendimiento del discurso han sido fragmentadas, utilizando modelos, métricas (por ejemplo, sondeo, prompting, juicio de aceptabilidad) y tareas definidas de forma estrecha (por ejemplo, marcos teóricos específicos como PDTB o SDRT, o dominios específicos) dispares. Esta fragmentación impide una evaluación holística de cómo los modelos de razonamiento de última generación manejan los fenómenos del discurso, que van desde partículas léxicas hasta la coherencia a nivel de documento. Además, los benchmarks existentes suelen carecer de cobertura de desafíos novedosos, como la desambiguación de partículas discursivas polifuncionales, o no logran unificar las perspectivas multilingües y de múltiples marcos.

Metodología

Los autores introducen BeDiscovER (Benchmark of Discourse Understanding in the Era of Reasoning Language Models), una suite de evaluación integral diseñada para evaluar el conocimiento del discurso en tres niveles jerárquicos: Léxico, (Multi-)Oracional y Documental.

Composición del Benchmark

BeDiscovER agrega 52 conjuntos de datos disponibles públicamente (un total de ~30,000 instancias de prueba) que abarcan 16 idiomas y 6 marcos teóricos. El benchmark está organizado en cinco tareas principales:

1. Entendimiento de Marcadores Discursivos: Evalúa la sensibilidad a partículas polifuncionales (por ejemplo, "just", "otherwise") utilizando conjuntos de datos recientemente curados (Just-Manual, Just-Subtitle, Otherwise).
2. Razonamiento Temporal: Prueba el razonamiento evento-evento entre oraciones adyacentes y distantes, incluyendo la inferencia temporal de estilo aritmético (TimeBank-Dense, TDDiscourse, Test-of-Time).
3. Reconocimiento de Relaciones Discursivas: Utiliza los datos de la tarea compartida DISRPT 2025, que unifica más de 300 tipos de relaciones en 17 categorías a través de 38 conjuntos de datos y múltiples marcos (PDTB, RST, SDRT, etc.).
4. Ordenamiento de Oraciones: Evalúa la capacidad de reconstruir texto coherente a partir de oraciones desordenadas en resúmenes científicos e historias narrativas (por ejemplo, AAN, ROC Stories, Wiki Movie Plots).
5. Parsing de Discurso en Diálogo: Se enfoca en la construcción de estructuras de discurso (estilo SDRT) para diálogos de múltiples participantes (STAC, Molweni, MSDC).

Protocolo de Evaluación

Los autores evalúan una suite de LLMs orientados al razonamiento (serie Qwen3, DeepSeek-R1, GPT-5-mini) junto con bases de referencia no orientadas al razonamiento (GPT-4o-mini, LLaMA-4-Scout, Qwen2.5-72B).

• Estrategia de Prompting: Todas las tareas se presentan en un formato unificado de Pregunta-Respuesta (QA) abierto. Para las tareas de clasificación, los conjuntos de etiquetas se proporcionan explícitamente en el prompt del sistema.
• Esfuerzo de Razonamiento: El estudio distingue entre modos de "pensamiento" (alto esfuerzo de razonamiento) y "no pensamiento" (bajo esfuerzo de razonamiento) para los modelos que los admiten.
• Métricas: El desempeño se mide principalmente mediante precisión o puntuaciones micro-F1. Los autores también analizan la correlación entre el desempeño de las sub-tareas y el solapamiento de los tipos de conocimiento discursivo subyacentes (léxico, temporal, retórico, etc.).

Resultados Clave

La evaluación revela fortalezas y debilidades distintivas en los modelos de razonamiento actuales:

• Razonamiento Temporal: Los modelos exhiben un fuerte desempeño en el razonamiento temporal de estilo aritmético (por ejemplo, Test-of-Time), donde el razonamiento se asemeja al cálculo matemático. Sin embargo, tienen dificultades con el razonamiento de dependencias largas e inferencia temporal lógica en documentos completos (por ejemplo, TimeBank-Dense, TDDiscourse), rindiendo a menudo por debajo de los sistemas supervisados entrenados en modelos más pequeños.
• Relaciones Discursivas: Si bien los modelos de razonamiento superan a sus contrapartes no orientados al razonamiento, todavía están significativamente rezagados respecto a los sistemas supervisados (por ~20 puntos) en la clasificación de relaciones retóricas. El desempeño varía según el marco, con los marcos más nuevos (eRST) que arrojan puntuaciones más bajas, probablemente debido a la exposición limitada en los datos de preentrenamiento.
• Marcadores Discursivos: Proporcionar un contexto más rico (definiciones y ejemplos) generalmente mejora el desempeño para los modelos de razonamiento grandes (>32B), lo que sugiere que se benefician del aprendizaje en contexto. Sin embargo, un exceso de contexto puede degradar el desempeño en modelos más pequeños.
• Estructura de Documento: Los modelos más grandes muestran una clara tendencia de escalado en el ordenamiento de oraciones y el parsing de diálogos, logrando resultados competitivos en tareas de coherencia narrativa, aunque la predicción de la estructura completa en el parsing de diálogos sigue siendo un cuello de botella.
• Esfuerzo de Razonamiento: Un mayor esfuerzo de razonamiento (trazas de "pensamiento" más largas) mejora consistentemente el desempeño en tareas temporales aritméticas, pero no garantiza mejores resultados en otras tareas; en algunos casos, conduce a la verbosidad sin mejorar la precisión.

Contribuciones Clave

1. Benchmark Unificado: BeDiscovER es el primer benchmark integral que evalúa el entendimiento del discurso a través de los niveles léxico, oracional y de documento, cubriendo 52 conjuntos de datos y múltiples marcos.
2. Tareas Novedosas: Introduce evaluaciones para la desambiguación de partículas discursivas y agrega la tarea de clasificación de relaciones multilingüe/multimarco DISRPT 2025.
3. Análisis Empírico: El artículo proporciona un análisis detallado de cómo el esfuerzo de razonamiento, el tamaño del modelo y el solapamiento de conocimiento influyen en el desempeño, identificando que los modelos actuales sobresalen en el razonamiento de tipo aritmético y rico en datos, pero luchan con fenómenos semánticos sutiles y dependencias de largo alcance.
4. Recursos Abiertos: Los autores lanzan una pipeline de evaluación unificada para facilitar evaluaciones futuras y el benchmarking continuo.

Significado y Reivindicaciones

Los autores posicionan a BeDiscovER como una herramienta necesaria para diagnosticar las limitaciones específicas de los LLMs orientados al razonamiento en el entendimiento del discurso. Afirman que, si bien los modelos de última generación muestran capacidades de razonamiento significativas, estas fortalezas suelen concentrarse en fenómenos bien representados en los datos de entrenamiento (por ejemplo, partículas frecuentes, lógica aritmética). El benchmark destaca brechas persistentes en el razonamiento temporal lógico, la clasificación de relaciones retóricas y la coherencia de contexto largo.

El artículo concluye que BeDiscovER sirve como una base para la investigación futura, sugiriendo que mejorar los LLMs conscientes del discurso requiere abordar la transferencia de habilidades de razonamiento abstracto y, potencialmente, aprovechar las trazas de razonamiento de alta calidad en las estrategias de pre y post-entrenamiento. Los autores señalan explícitamente que BeDiscovER actualmente evalúa el conocimiento del discurso (corrección de la respuesta) en lugar de la calidad del razonamiento directamente, reconociendo esto como una limitación para trabajos futuros.