Resumo Técnico: BeDiscovER

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado capacidades notáveis de raciocínio em tarefas de matemática, codificação e senso comum, sua habilidade de processar e compreender o conhecimento de discurso — a interação entre informações de múltiplas sentenças e de longo contexto — permanece uma questão em aberto. Avaliações anteriores da compreensão de discurso foram fragmentadas, utilizando modelos díspares, métricas (ex: sondagem, prompting, julgamento de aceitabilidade) e tarefas de definições estreitas (ex: frameworks teóricos específicos como PDTB ou SDRT, ou domínios específicos). Essa fragmentação impede uma avaliação holística de como os modelos de raciocínio de última geração lidam com fenômenos de discurso, que variam desde partículas lexicais até a coerência ao nível de documento. Além disso, os benchmarks existentes frequentemente carecem de cobertura para desafios novos, como a desambiguação de partículas de discurso polifuncionais, ou falham em unificar perspectivas multilingues e de múltiplos frameworks.

Metodologia

Os autores introduzem o BeDiscovER (Benchmark of Discourse Understanding in the Era of Reasoning Language Models), um conjunto de avaliação abrangente projetado para avaliar o conhecimento de nível de discurso através de três níveis hierárquicos: Léxico, (Multi-)Sentenças e Documento.

Composição do Benchmark

O BeDiscovER agrega 52 conjuntos de dados publicamente disponíveis (totalizando ~30.000 instâncias de teste) abrangendo 16 idiomas e 6 frameworks teóricos. O benchmark é organizado em cinco tarefas principais:

1. Compreensão de Marcadores de Discurso: Avalia a sensibilidade a partículas polifuncionais (ex: "apenas", "caso contrário") usando datasets recém-curados (Just-Manual, Just-Subtitle, Otherwise).
2. Raciocínio Temporal: Testa o raciocínio evento-evento entre sentenças adjacentes e distantes, incluindo inferência temporal de estilo aritmético (TimeBank-Dense, TDDiscourse, Test-of-Time).
3. Reconhecimento de Relação de Discurso: Utiliza os dados da tarefa compartilhada DISRPT 2025, que unifica mais de 300 tipos de relação em 17 categorias através de 38 datasets e múltiplos frameworks (PDTB, RST, SDRT, etc.).
4. Ordenação de Sentenças: Avalia a capacidade de reconstruir textos coerentes a partir de sentenças embaralhadas em resumos científicos e histórias narrativas (ex: AAN, ROC Stories, Wiki Movie Plots).
5. Parsing de Discurso de Diálogo: Foca na construção de estruturas de discurso (estilo SDRT) para diálogos de múltiplas partes (STAC, Molweni, MSDC).

Protocolo de Avaliação

Os autores avaliam um conjunto de LLMs orientados ao raciocínio (série Qwen3, DeepSeek-R1, GPT-5-mini) ao lado de baselines não-raciocinadores (GPT-4o-mini, LLaMA-4-Scout, Qwen2.5-72B).

• Estratégia de Prompting: Todas as tarefas são convertidas em um formato unificado de Resposta a Perguntas (QA) aberta. Para tarefas de classificação, os conjuntos de rótulos são explicitamente fornecidos no prompt do sistema.
• Esforço de Raciocínio: O estudo distingue entre modos de "pensamento" (alto esforço de raciocínio) e "não-pensamento" (baixo esforço de raciocínio) para modelos que os suportam.
• Métricas: O desempenho é medido primariamente via acurácia ou scores de micro-F1. Os autores também analisam a correlação entre o desempenho das sub-tarefas e a sobreposição dos tipos de conhecimento de discurso subjacentes (léxico, temporal, retórico, etc.).

Resultados Principais

A avaliação revela forças e fraquezas distintas nos modelos de raciocínio atuais:

• Raciocínio Temporal: Os modelos exibem um desempenho forte em raciocínio temporal de estilo aritmético (ex: Test-of-Time), onde o raciocínio se assemelha ao cálculo matemático. No entanto, eles têm dificuldade com o raciocínio de dependência longa e inferência temporal lógica em documentos completos (ex: TimeBank-Dense, TDDiscourse), frequentemente performando abaixo de baselines supervisionados treinados em modelos menores.
• Relações de Discurso: Embora os modelos de raciocínio superem seus contrapartes não-raciocinadores, eles ainda ficam significativamente atrás de sistemas supervisionados (por ~20 pontos) na classificação de relação retórica. O desempenho varia por framework, com frameworks mais novos (eRST) apresentando pontuações mais baixas, provavelmente devido à exposição limitada nos dados de pré-treinamento.
• Marcadores de Discurso: Fornecer contexto mais rico (definições e exemplos) geralmente melhora o desempenho para modelos de raciocínio grandes (>32B), sugerindo que eles se beneficiam de aprendizado em contexto (in-context learning). No entanto, o excesso de contexto pode degradar o desempenho para modelos menores.
• Estrutura de Documento: Modelos maiores mostram uma clara tendência de escala na ordenação de sentenças e no parsing de diálogo, alcançando resultados competitivos em tarefas de coerência narrativa, embora a previsão de estrutura completa no parsing de diálogo permaneça um gargalo.
• Esforço de Raciocínio: O aumento do esforço de raciocínio (rastros de "pensamento" mais longos) melhora consistentemente o desempenho em tarefas temporais aritméticas, mas não garante melhores resultados em outras tarefas; em alguns casos, leva à verbosidade sem melhoria na acurácia.

Principais Contribuições

1. Benchmark Unificado: O BeDiscovER é o primeiro benchmark abrangente que avalia a compreensão de discurso através dos níveis léxico, sentencial e de documento, cobrindo 52 datasets e múltiplos frameworks.
2. Tarefas Inovadoras: Introduz avaliações para desambiguação de partículas de discurso e agrega a tarefa de classificação de relação multilingue/multi-framework DISRPT 2025.
3. Análise Empírica: O artigo fornece uma análise detalhada de como o esforço de raciocínio, o tamanho do modelo e a sobreposição de conhecimento influenciam o desempenho, identificando que os modelos atuais se destacam em raciocínios ricos em dados e de tipo aritmético, mas lutam com fenômenos semânticos sutis e dependências de longo alcance.
4. Recursos Abertos: Os autores liberam um pipeline de avaliação unificado para facilitar futuras avaliações e benchmarking contínuo.

Significância e Alegações

Os autores posicionam o BeDiscovER como uma ferramenta necessária para diagnosticar as limitações específicas dos LLMs orientados ao raciocínio na compreensão de discurso. Eles alegam que, embora os modelos de última geração mostrem capacidades de raciocínio significativas, essas forças estão frequentemente concentradas em fenômenos bem representados nos dados de treinamento (ex: partículas frequentes, lógica aritmética). O benchmark destaca lacunas persistentes em raciocínio temporal lógico, classificação de relação retórica e coerência de longo contexto.

O artigo conclui que o BeDiscovER serve como uma base para pesquisas futuras, sugerindo que melhorar os LLMs conscientes de discurso requer abordar a transferência de habilidades de raciocínio abstrato e, potencialmente, alavancar rastros de raciocínio de alta qualidade em estratégias de pré e pós-treinamento. Os autores explicitamente observam que o BeDiscovER atualmente avalia o conhecimento de discurso (corretude da resposta) em vez da qualidade do raciocínio diretamente, reconhecendo isso como uma limitação para trabalhos futuros.