DEBISS: a Corpus of Individual, Semi-structured and Spoken Debates

O artigo apresenta o corpus DEBISS, uma coleção de debates falados e individuais com características semi-estruturadas e diversas anotações para tarefas de PLN, criada para suprir a escassez de dados nessa área devido à grande variedade de formatos e aplicações de debates.

O essencial

Imagine que você precisa ensinar um robô a entender como os humanos discutem, argumentam e tentam convencer uns aos outros. O problema é que a maioria dos robôs hoje em dia só "leu" livros ou posts de internet. Eles não sabem como é a voz tremida de nervosismo, o "ééé..." quando alguém pensa, ou a energia de uma discussão ao vivo.

É aí que entra o DEBISS. Pense nele como um "laboratório de conversas" gravado em áudio, feito especialmente para ajudar a inteligência artificial a entender debates reais.

Aqui está a explicação do papel, traduzida para o dia a dia:

1. O Que é o DEBISS? (O "Menu" do Debate)

O DEBISS é uma coleção de 9 horas e 35 minutos de gravações de debates reais.

• Quem participou? 67 estudantes de computação de uma universidade no Brasil (UFCG).
• Sobre o que? O tema era "Inteligência Artificial Generativa e seus impactos na sociedade". Um tema quente, como se fosse um "tema do dia" que todo mundo discute no WhatsApp.
• Como foi? Não foi um debate formal e chato de TV, nem uma briga de internet. Foi um meio-termo: semi-estruturado.
  • Analogia: Imagine um jogo de futebol com regras claras (não pode empurrar, tem juiz), mas os jogadores podem correr livremente pelo campo e improvisar jogadas. Havia perguntas obrigatórias, mas os alunos podiam falar o que quisessem, com suas próprias palavras e emoções.

2. Por que isso é especial? (O "Pulo do Gato")

A maioria dos dados que as IAs usam hoje são:

• Debates Políticos: Muito formais, ensaiados e rígidos.
• Internet (Twitter/Reddit): Texto escrito, cheio de gírias, mas sem voz e sem a emoção de quem está falando.
• Debates Acadêmicos: Muitas vezes focados em grupos, não em indivíduos.

O DEBISS é único porque é falado, individual e brasileiro.

• Individual: Cada aluno defendeu sua própria opinião, não a de um time. Isso mostra como uma pessoa sozinha pensa e fala.
• Língua: É tudo em Português do Brasil. A maioria dos robôs inteligentes é treinada em inglês; esse projeto ajuda a dar voz à nossa língua.
• Detalhes: Eles gravaram não só o que foi dito, mas como foi dito. Onde a pessoa hesitou? Onde ela repetiu uma palavra? Quem falou com mais firmeza?

3. Como eles fizeram isso? (A "Cozinha" do Projeto)

Os pesquisadores foram como cozinheiros preparando um prato complexo:

1. A Preparação: Eles deram aos alunos textos para ler sobre o tema (como um "cardápio" de informações) para que todos tivessem base.
2. A Gravação: Usaram microfones de alta qualidade em uma sala de conferências. Cada aluno tinha um número secreto para não expor o nome, mas para que os pesquisadores soubessem quem era quem.
3. A Transcrição (O "Tradutor"): Primeiro, usaram uma IA para transformar o áudio em texto (como um legendador automático). Depois, humanos foram como "chefs revisores", ouvindo cada frase e corrigindo erros, separando quem falou o quê e juntando frases quebradas.
4. A Avaliação (O "Júri"):
   • Autoavaliação: Os alunos disseram: "Como eu me senti?", "Eu me preparei bem?".
   • Avaliação de Pares: Eles votaram em quem foi o melhor debatedor e explicaram o porquê.
   • Júri de Especialistas: Cinco linguistas ouviram tudo e deram notas de 1 a 5 em coisas como "clareza", "persuasão" e "organização".

4. Para que serve tudo isso? (O "Brinquedo" para Robôs)

Esse banco de dados (corpus) é como um kit de ferramentas para cientistas de dados e desenvolvedores de IA. Com o DEBISS, eles podem treinar robôs para fazer coisas incríveis:

• Argument Mining (Mineração de Argumentos): Ensinar a IA a identificar onde está a "premissa" (o motivo) e onde está a "conclusão" (a ideia principal) em uma conversa bagunçada.
• Detecção de "Gagueira": Ensinar a IA a limpar textos falados, removendo aqueles "ééé...", "hmmm" e repetições, deixando o texto limpo como se fosse escrito.
• Análise de Qualidade: Criar robôs que conseguem julgar quem é um bom debatedor, baseando-se em critérios reais, não apenas em quem grita mais alto.

Resumo da Ópera

O DEBISS é como ter um filme de cinema em 3D de uma discussão real, onde você pode ouvir a voz, ver a transcrição, saber quem falou e até ter a nota do professor sobre a performance.

Ele preenche um buraco na biblioteca da inteligência artificial: falta muito material em português que capture a verdadeira natureza de uma conversa falada, com todas as suas imperfeições, hesitações e emoções. Agora, os robôs podem aprender a entender o debate humano como ele realmente é: vivo, dinâmico e cheio de nuances.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo sobre o corpus DEBISS, apresentado em português:

Título: DEBISS: Um Corpus de Debates Individuais, Semi-estruturados e Falados

1. Problema e Motivação

O artigo identifica uma lacuna significativa no estado da arte da Linguística Computacional e da Mineração de Argumentos (Argument Mining - AM). Embora os debates sejam fundamentais para o pensamento crítico e a comunicação, a análise computacional desse discurso é limitada pela escassez de corpora diversificados e ricos em anotações.

• Limitações dos Corpora Existentes: A maioria dos corpora disponíveis foca em debates políticos altamente estruturados (ex: debates presidenciais dos EUA) ou em discussões online escritas (ex: Reddit, Twitter).
• Falta de Diversidade: Há uma carência de recursos para debates orais, semi-estruturados e individuais, especialmente em contextos educacionais e em línguas diferentes do inglês.
• Necessidade: É necessário um dataset que capture a espontaneidade da fala, a interação individual e as nuances de debates em português brasileiro para treinar modelos de IA mais robustos.

2. Metodologia

Os autores desenvolveram o corpus DEBISS (Debates Individuais, Semi-estruturados e Falados) seguindo um protocolo rigoroso de coleta e processamento de dados:

• Coleta de Dados:

  • Participantes: 67 estudantes do primeiro semestre de Ciência da Computação da Universidade Federal de Campina Grande (UFCG).
  • Configuração: Os participantes foram divididos em 16 grupos (de 3 a 5 membros).
  • Formato: Debates individuais onde cada participante defende seu próprio ponto de vista, diferentemente de debates em equipe onde um grupo defende uma única posição.
  • Tema: "Inteligência Artificial Generativa e seus Impactos na Sociedade".
  • Ambiente: Sala de conferência com microfone Logitech Yeti (modo omnidirecional) e gravação via OBS Studio.
  • Estrutura da Sessão: Semi-estruturada, dividida em: (1) Opiniões iniciais, (2) Rodada de perguntas e respostas (com perguntas específicas por debatedor), e (3) Reflexões finais. Inclui momentos de interação espontânea e regras para evitar interrupções.

• Processamento e Anotação:

  • Transcrição: Utilizou-se um processo híbrido. Modelos de Speech-to-Text (wav2vec2-large, Whisper-large e Azure Speech-to-Text) foram testados; o modelo da Azure foi selecionado por sua maior precisão.
  • Validação Humana: As transcrições automáticas foram corrigidas manualmente para garantir precisão, separando falas sobrepostas e ajustando timestamps.
  • Identificação de Falantes (Diarização): Anotadores rotularam cada segmento de fala com o identificador único do debatedor.
  • Avaliação: Após os debates, os participantes preencheram formulários de autoavaliação (desempenho, conhecimento prévio) e avaliação por pares (quem foi o melhor debatedor e justificativa).

• Subcorpora Derivados:

  • DEBISS-Arg: Focado em Mineração de Argumentos, com anotações de Unidades de Discurso Argumentativo (ADUs), premissas, alegações e evidências, além de relações micro e macro entre os debatedores.
  • DEBISS-Eval: Focado na avaliação da qualidade do debatedor, com notas de juízes especialistas (escala Likert) sobre organização, argumentação, persuasão e clareza.

3. Principais Contribuições

• Novo Corpus em Português Brasileiro: Preenche a lacuna de dados orais e semi-estruturados em PT-BR, enriquecendo a diversidade linguística na análise de debates.
• Formato Único: Combina a estrutura de debates educacionais com a espontaneidade da fala individual, capturando dinâmicas que corpora políticos ou escritos não conseguem.
• Anotações Multimodais e Ricas: O corpus inclui não apenas áudio e transcrição, mas também:
  • Diarização de falantes.
  • Detecção de disfluências (hesitações, repetições).
  • Anotações para Argument Mining (ADUs, relações).
  • Avaliações de qualidade (autoavaliação e avaliação por pares/juízes).
• Acesso Aberto: Todo o material (áudios, transcrições, anotações) está disponível publicamente no GitHub para fins de pesquisa.

4. Resultados e Aplicações

O artigo demonstra a aplicabilidade do corpus através de estudos de caso:

• Detecção de Disfluências: Estudo utilizando Grandes Modelos de Linguagem (LLMs), como o GPT-4o, para identificar e remover hesitações e correções nas transcrições. O GPT-4o demonstrou desempenho superior na manutenção da qualidade do texto enquanto removia disfluências.
• Mineração de Argumentos: O subcorpus DEBISS-Arg permite treinar e avaliar modelos para identificar componentes argumentativos complexos em fala natural.
• Análise de Qualidade: O DEBISS-Eval fornece dados quantitativos e qualitativos para estudar o que constitui um "bom debatedor" e como a preparação influencia o desempenho.

5. Significância e Limitações

• Significância: O DEBISS representa um avanço significativo para a pesquisa em Processamento de Linguagem Natural (PLN) no Brasil, oferecendo um recurso padronizado para tarefas complexas como análise de discurso, avaliação de oratória e desenvolvimento de assistentes de IA para debates.
• Limitações:
  • Escopo Temático: O corpus foca em um único tema (IA Generativa), o que pode limitar a generalização para outros tópicos.
  • Perfil dos Participantes: A amostra é composta apenas por estudantes de graduação em Ciência da Computação, faltando diversidade em níveis educacionais e backgrounds profissionais.
• Trabalho Futuro: Os autores sugerem expandir a variedade de temas e incluir participantes de perfis mais heterogêneos para fortalecer a representatividade do dataset.

Em suma, o DEBISS é um recurso fundamental para a comunidade de PLN, permitindo o desenvolvimento de modelos mais sofisticados para entender e analisar a complexidade dos debates orais em português.