DEBISS: a Corpus of Individual, Semi-structured and Spoken Debates

Este artículo presenta DEBISS, un corpus de debates hablados, individuales y semiestructurados con diversas anotaciones de PLN para abordar la escasez de recursos en este dominio.

Lo esencial

Imagina que el debate es como un juego de ajedrez hablado. En lugar de mover piezas de madera, las personas mueven ideas, argumentos y emociones. Normalmente, cuando pensamos en debates, imaginamos dos cosas: o son discusiones muy serias y rígidas (como las de los presidentes en la televisión) o son comentarios sueltos en internet escritos por gente anónima.

Pero, ¿qué pasa con esas conversaciones reales que tenemos en la universidad, donde la gente piensa en voz alta, se equivoca, se corrige y usa un lenguaje natural? Ahí es donde entra este papel.

Aquí te explico el proyecto DEBISS como si fuera una receta de cocina para un nuevo ingrediente secreto en la cocina de la Inteligencia Artificial:

1. ¿Qué es DEBISS? (El Ingrediente Secreto)

Los científicos de la Universidad Federal de Campina Grande (en Brasil) se dieron cuenta de que a las "cocinas" de la Inteligencia Artificial les faltaba un plato muy específico: debates hablados, individuales y semi-organizados en portugués.

• El problema: Antes, las IAs solo habían "comido" debates de políticos muy formales o textos escritos en inglés. Les faltaba practicar con el lenguaje real, con sus tartamudeos, pausas y la espontaneidad de un estudiante de primer año.
• La solución: Crearon DEBISS. Imagina que grabaron a 67 estudiantes de computación durante 9 horas y media discutiendo sobre un tema muy actual: "¿Cómo la Inteligencia Artificial Generativa está cambiando nuestra sociedad?".

2. ¿Cómo se hizo el "plato"? (La Metodología)

No fue una charla libre y caótica. Fue como un juego de mesa con reglas claras pero flexibles:

• Los jugadores: Se formaron 16 grupos pequeños (de 3 a 5 personas).
• El formato: No era un monólogo (uno hablando solo) ni un grupo gritando todos a la vez. Era individual: cada estudiante defendía su propia idea, pero dentro de un marco organizado.
• La estructura:
  1. La entrada: Todos dicen su opinión inicial.
  2. El medio juego: El moderador hace preguntas específicas (como un DJ que pide canciones) y los estudiantes responden.
  3. El final: Todos reflexionan si cambiaron de opinión.
• El micrófono: Usaron micrófonos de alta calidad para capturar cada susurro y cada "ehhh..." o "este..." (los famosos disfluencies o vacilaciones).

3. ¿Qué hicieron con la grabación? (La Transformación)

Aquí es donde la magia de la tecnología entra en acción. Tuvieron que convertir esas 9 horas de audio en algo que una computadora pueda entender. Fue como traducir un idioma alienígena al inglés:

1. Transcripción automática: Usaron IAs avanzadas (como un traductor muy rápido) para convertir el audio en texto.
2. La revisión humana: Como las IAs a veces se confunden, humanos leyeron todo y corrigieron los errores. ¡Fue como editar un libro para que no tenga faltas de ortografía!
3. Etiquetado (La parte más importante): No solo escribieron lo que dijeron, sino que pusieron "etiquetas" en cada frase:
   • ¿Quién habló? (Identificación de voces).
   • ¿Es una afirmación? ¿Es una duda? ¿Es un argumento?
   • ¿Quién ganó el punto en ese momento?

4. ¿Para qué sirve todo esto? (El Menú Final)

Ahora que tienen este "plato" listo, los científicos pueden servirlo de varias formas para mejorar la Inteligencia Artificial:

• Para que la IA escuche mejor: Ayuda a las máquinas a entender el lenguaje real, con sus muletillas y pausas, no solo el lenguaje de los libros de texto.
• Para medir la calidad de un debate: Imagina un juez de cocina que no solo prueba la comida, sino que evalúa cómo el chef preparó el plato. DEBISS permite a las IAs aprender a juzgar quién argumentó mejor, quién fue más persuasivo y quién se preparó más.
• Para aprender a debatir: Al analizar estos datos, podemos entender qué hace que una persona sea un gran orador y enseñarle a otros (o a robots) a hacerlo mejor.

En resumen

DEBISS es como una cápsula del tiempo de conversaciones reales en portugués. Es un tesoro de datos que le dice a la Inteligencia Artificial: "Oye, así es como hablamos de verdad en la vida real, con todas nuestras dudas, emociones y argumentos. Ahora, aprende de nosotros".

Es un paso gigante para que la tecnología deje de ser un robot frío que solo lee noticias, y empiece a entender las conversaciones complejas y humanas que ocurren en las aulas y en la vida diaria.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "DEBISS: a Corpus of Individual, Semi-structured and Spoken Debates", traducido y adaptado al español.

1. Planteamiento del Problema

El debate es una herramienta fundamental en la educación y la vida diaria para desarrollar el pensamiento crítico y las habilidades comunicativas. Sin embargo, el avance en el análisis computacional del discurso debatido se ve frenado por la escasez de corpus diversos y ricos en anotaciones, especialmente en contextos educativos y para idiomas distintos al inglés.

Los desafíos específicos identificados son:

• Limitación de formatos existentes: La mayoría de los corpus actuales se centran en debates políticos (muy formales y estructurados) o en discusiones en línea escritas (Twitter, Reddit), los cuales carecen de la espontaneidad y las características multimodales (audio) de los debates hablados.
• Falta de datos en portugués: Existe una carencia notable de recursos para el análisis de debates orales en portugués brasileño, particularmente aquellos que combinan estructura semiestructurada con argumentación individual espontánea.
• Brecha en la investigación educativa: Hay pocos conjuntos de datos que capturen las matices de los debates liderados por estudiantes, lo que limita el estudio del desarrollo de habilidades oratorias y la evaluación de la calidad del debate en entornos académicos.

2. Metodología

El equipo de investigación desarrolló una metodología rigurosa para la recolección, procesamiento y anotación de datos, centrada en la creación del corpus DEBISS.

A. Recolección de Datos

• Participantes: 67 estudiantes de primer año de Ciencias de la Computación de la Universidad Federal de Campina Grande (UFCG), Brasil.
• Estructura: Los estudiantes se organizaron en 16 grupos de 3 a 5 participantes. A diferencia de los debates grupales donde se defiende una postura unificada, en DEBISS cada participante defiende su propia perspectiva individual.
• Tema Central: "Inteligencia Artificial Generativa y sus impactos en la sociedad". Se proporcionó material de lectura (noticias y artículos de opinión) y un resumen suplementario para nivelar el conocimiento, aunque la lectura fue voluntaria.
• Formato Semiestructurado: Las sesiones duraron un total de 9 horas y 35 minutos. El formato incluyó:
  1. Postura inicial.
  2. Rondas de preguntas y respuestas (5 preguntas específicas, una por debatiente, con interacción opcional de otros).
  3. Reflexiones finales y cambio de postura.
• Entorno: Grabaciones de audio de alta calidad realizadas en una sala de conferencias con micrófonos Logitech Yeti y software OBS Studio.

B. Procesamiento y Anotación

El proceso de post-procesamiento fue híbrido (automático + manual):

1. Transcripción: Se compararon tres modelos de IA (wav2vec2-large, Whisper-large, Azure Speech-to-Text). Se seleccionó Azure por su mayor precisión.
2. Validación Humana: Anotadores corrigieron manualmente los errores de la transcripción automática, ajustaron los tiempos de inicio y fin, y resolvieron superposiciones de habla (aunque fueron raras debido a las reglas de no interrupción).
3. Identificación de Hablantes (Diarización): Se asignaron identificadores únicos a cada hablante y se combinaron fragmentos de habla divididos por pausas.
4. Evaluación: Se recolectaron formularios de autoevaluación (desempeño, preparación, conocimiento del tema) y evaluación por pares (mejor debatiente y justificación).

3. Contribuciones Clave

El corpus DEBISS ofrece varias contribuciones innovadoras al estado del arte:

• Primera colección de su tipo en Portugués Brasileño: Llena un vacío lingüístico significativo en el análisis de debates orales.
• Enfoque en Debates Individuales y Semiestructurados: Captura la espontaneidad de la argumentación individual dentro de un marco controlado, diferenciándose de los debates políticos rígidos o los foros escritos.
• Multimodalidad y Riqueza de Anotaciones: Incluye no solo el audio y la transcripción, sino también:
  • Diarización de hablantes.
  • Detección de disfluencias (vacilaciones, repeticiones).
  • Evaluación de la calidad del debatiente (autoevaluación y evaluación por expertos).
  • Minería de argumentos (unidades de discurso argumentativo, premisas, afirmaciones).
• Sub-corpus Derivados:
  • DEBISS-Arg: Anotado para tareas de Minería de Argumentos (identificación de ADUs, premisas, relaciones micro y macro).
  • DEBISS-Eval: Evaluado por un panel de 5 expertos lingüistas con escalas Likert y notas cualitativas detalladas sobre la calidad del debate.

4. Resultados y Aplicaciones

El corpus ha demostrado ser una base valiosa para diversas tareas de Procesamiento de Lenguaje Natural (NLP):

• Minería de Argumentos (AM): Permite entrenar modelos para detectar estructuras argumentativas en habla espontánea.
• Evaluación de Calidad del Debatiente (DQA): Facilita el análisis de qué factores (organización, persuasión, claridad) correlacionan con un buen desempeño.
• Detección de Disfluencias: Se utilizó para evaluar modelos de Lenguaje Grande (LLMs), como GPT-4o, en la tarea de identificar y eliminar elementos disfluentes (repeticiones, correcciones) en transcripciones. Los resultados mostraron que GPT-4o superó a otros modelos en mantener la calidad del texto mientras eliminaba las disfluencias.
• Estadísticas del Corpus:
  • 67 debatientes, 16 grupos.
  • 130,697 tokens.
  • Diversidad léxica de 0.062.

5. Significado y Limitaciones

Significado:
DEBISS representa un avance significativo para la investigación en NLP en portugués, proporcionando un recurso abierto que permite explorar desde la construcción de argumentos hasta la interacción entre hablantes y la evaluación de habilidades oratorias. Su enfoque educativo ofrece una perspectiva única sobre el desarrollo de habilidades comunicativas en estudiantes universitarios.

Limitaciones:

• Alcance Temático: El corpus se centra en un solo tema (IA Generativa), lo que podría limitar la generalización de los modelos entrenados a otros temas.
• Homogeneidad de la Muestra: Los participantes son todos estudiantes de primer año de la misma universidad, lo que reduce la diversidad de perfiles educativos y niveles de experiencia.

Conclusión:
El trabajo propone no solo un conjunto de datos, sino una metodología reproducible para la creación de corpus de debates. Los autores planean abordar las limitaciones futuras expandiendo los temas y diversificando los perfiles de los participantes, consolidando a DEBISS como un recurso fundamental para el análisis computacional del discurso argumentativo en español y portugués.