The distribution of discourse relations within and across turns in spontaneous conversation

Título: A distribuição de relações discursivas dentro e através de turnos na conversa espontânea

Autores: S. Magalí López Cortez e Cassandra L. Jacobs (Universidade de Buffalo, EUA)

---

1. Problema e Motivação

A maioria dos corpora anotados e sistemas de processamento de linguagem natural (PLN) focados em Relações Discursivas (RDs) — como Elaboração, Fundo e Explicação — concentra-se em textos escritos ou monólogos estruturados. No entanto, a conversação espontânea apresenta desafios únicos:

• Pressão Temporal: Os participantes devem negociar tópicos e responder rapidamente, o que pode alterar como as RDs são utilizadas em comparação com a escrita.
• Falta de Dados: Existe uma escassez de corpora anotados de diálogos espontâneos (multi-participantes).
• Adaptabilidade de Esquemas: Não está claro se os esquemas de RDs desenvolvidos para textos jornalísticos (como o RST-DT) são apropriados para dados conversacionais, onde as unidades de discurso podem ser fragmentadas, interrompidas ou contiverem disfluências.

O objetivo deste trabalho é apresentar os primeiros esforços para criar um corpus anotado de RDs para conversas espontâneas, analisando especificamente como os padrões de anotação variam entre diferentes contextos (dentro do mesmo turno, entre turnos do mesmo falante, e entre falantes diferentes).

2. Metodologia

Dados e Corpus

• Utilizou-se um subconjunto de 19 diálogos do Corpus Switchboard (Godfrey et al., 1992), que contém conversas informais entre estranhos sobre tópicos atribuídos.
• Unidades de Discurso Elementares (EDUs): As falas foram segmentadas em EDUs baseadas em estruturas de dependência. Foram incluídos apenas turnos com pelo menos duas raízes ou verbos.
• Modificações para Fala: A definição de EDUs foi adaptada para lidar com ruído, comunicação não linguística (risos), reinícios e disfluências ("uh", "um"), além de utilizar Unidades de Discurso Complexas (CDUs).

Esquema de Anotação

• Teoria: Baseado na Teoria da Representação Semântica Segmentada (SDRT) e nas diretrizes do corpus STAC.
• Categorias: Foram selecionadas 11 das 16 relações do STAC (mais uma categoria "Outro"), focando nas mais comuns para reduzir a carga cognitiva dos anotadores (ex: Reconhecimento, Fundo, Pergunta de Clarificação, Comentário, Continuação, Contraste, Elaboração, Explicação, Narração, Par Pergunta-Resposta, Resultado).
• Anotadores: 114 estudantes de linguística computacional, divididos em 19 equipes. Eles trabalharam individualmente e depois discutiram em grupo para submeter um relatório unificado.
• Tarefa: Os anotadores receberam pares de segmentos de texto ($\pi_1$ e $\pi_2$) e deveriam identificar a(s) relação(ões) discursiva(s) entre eles. Podiam selecionar múltiplas relações simultaneamente (anotação multirrotulo).

Contextos Analisados

O estudo focou na distribuição das RDs em três tipos de pares de EDUs:

1. Dentro do mesmo turno (mesmo falante).
2. Entre turnos do mesmo falante (falante A, turno 1 -> falante A, turno 2).
3. Entre falantes diferentes (falante A -> falante B).

3. Contribuições Principais

1. Novo Corpus Adaptado: Adaptação de um sistema de RDs de linguagem escrita para diálogos espontâneos, utilizando anotações crowdsourced de estudantes.
2. Análise Contextual: Investigação sistemática de como a localização da RD (dentro/entre turnos e falantes) influencia a distribuição e a certeza das anotações.
3. Validação via ML: Demonstração de que as anotações, apesar da incerteza humana, contêm sinais suficientes para prever relações discursivas a partir de embeddings (BERT).

4. Resultados

Distribuição e Incerteza

• Maior Incerteza em Turnos Únicos: Os anotadores selecionaram significativamente mais relações por par de EDUs em contextos de turno único (média de 1,60 por anotador) em comparação com contextos entre falantes.
• Interpretação: Isso sugere que os anotadores têm mais dificuldade em distinguir as relações dentro de um mesmo turno (ambiguidade) ou que consideram múltiplas relações válidas nesse contexto.
• Dados de Pesquisa: 91,4% dos anotadores relataram que a seleção de relações era mais adequada para pares entre falantes diferentes do que dentro do mesmo turno.

Acordo Inter-anotador

• O acordo foi modesto (acima do acaso, mas não alto), o que é comum em tarefas de anotação de RDs.
• Métricas como kappa ajustado e boot-match mostraram valores consistentes, indicando que, embora haja discordância, os padrões não são aleatórios.

Modelagem e Predição

• Regressão Logística: Um modelo mostrou que o contexto discursivo (dentro/entre falantes e turnos) melhora significativamente o ajuste aos dados, confirmando que as distribuições de RDs variam conforme o contexto.
  • Exemplo: "Reconhecimentos" e "Perguntas-Resposta" são mais prováveis entre falantes.
  • Exemplo: "Continuação", "Elaboração" e "Narração" são mais prováveis dentro de um único falante.
• Classificador BERT: Um classificador treinado para prever as anotações a partir de embeddings de pares de sentenças (usando arquitetura Next Sentence Prediction do BERT) teve:
  • Baixa precisão e recall estritos (F1 = 0,19).
  • Alto Recall (0,76) quando a previsão do modelo pertencia ao conjunto de todas as etiquetas fornecidas pelos anotadores.
• Entropia Cruzada: A incerteza do modelo (medida pela entropia cruzada entre previsões e rótulos) foi mais alta para anotações dentro de um único turno, corroborando a hipótese de maior ambiguidade nesse contexto.

5. Significado e Conclusão

O estudo demonstra que diferentes contextos conversacionais produzem distribuições distintas de relações discursivas.

• A ambiguidade na anotação de RDs dentro de um mesmo turno é um desafio significativo, possivelmente devido à sobreposição de funções discursivas ou à falta de sinais claros (como turnos alternados) que ajudam a definir a relação.
• As relações que ocorrem entre falantes (ex: Pergunta-Resposta) tendem a ter sinais mais claros e anotações mais consistentes.
• A qualidade das anotações, embora sujeita a discordância humana, é suficiente para treinar modelos que capturam padrões estruturais, validando a utilidade do corpus para futuros trabalhos em PLN conversacional.

Limitações: O tamanho do conjunto de dados é limitado e a lista de relações não é exaustiva. A qualidade da anotação (baixo acordo) é uma limitação prática, embora o estudo trate essa discordância como um dado interessante sobre a natureza da linguagem espontânea.