Resumen Técnico: Re3: Un marco integral y un conjunto de datos para el modelado de la revisión colaborativa de documentos

Declaración del problema

La revisión y la edición colaborativa de documentos textuales son centrales en el trabajo de conocimiento, involucrando ciclos iterativos de redacción, retroalimentación (revisiones), ejecución de revisiones y respuestas de los autores. A pesar del potencial del Procesamiento de Lenguaje Natural (NLP) para asistir en este dominio, carece de un marco integral capaz de modelar las complejas relaciones entre revisiones, revisiones de texto (ediciones) y respuestas de los autores.

La investigación previa en NLP se ha centrado principalmente en componentes aislados: relaciones entre documentos originales y revisados, revisiones y documentos originales, o revisiones y respuestas. Los conjuntos de datos existentes suelen omitir el contexto más amplio del documento, centrándose en lugar de eso en ediciones a nivel de oración, o no logran capturar la intención subyacente de la revisión. Además, existe una brecha en las metodologías y los conjuntos de datos para el modelado de "alcance completo", que abarca ediciones en varios niveles de granularidad (desde subsentencias hasta secciones) e incluye etiquetas cualitativas tanto para la acción (el cómo) como para la intención (el porqué) de la revisión. Esta limitación obstaculiza el desarrollo de aplicaciones de NLP que puedan automatizar eficazmente el análisis de ediciones o facilitar la colaboración basada en texto.

Metodología

El marco Re3

Los autores introducen Re3, un marco integral que conceptualiza el procedimiento de revisión-revisión-respuesta como un conjunto de interacciones entre cuatro tipos de documentos: el documento original ($D_t$), el documento revisado ($D_{t+1}$), la revisión ($C$) y la respuesta del autor ($A$).

• Representación de grafos: Los documentos se representan como grafos que preservan la estructura y la granularidad. Los elementos de texto varían desde subsentencias hasta secciones. Las relaciones entre documentos (por ejemplo, una solicitud de revisión que impulsa una edición específica) se tratan como aristas entre estos grafos de documentos.
• Alineación de ediciones: El marco vincula elementos de las versiones nueva y antigua ($e_{ij}$), asociando cada alineación con una Etiqueta de Edición ($EL_{ij}$) que comprende tres dimensiones:
  1. Granularidad: El alcance del elemento de texto (subsentencia, oración, párrafo, sección).
  2. Acción: El método de revisión (Añadir, Eliminar, Modificar, Fusionar, Dividir, Unir).
  3. Intención: El propósito subyacente (Gramática, Claridad, Hecho/Evidencia, Afirmación, Otro).

Construcción del conjunto de datos: Re3-Sci

Para instanciar este marco, los autores crearon Re3-Sci, un corpus a gran escala anotado por humanos en el dominio académico.

• Fuente de datos: Se seleccionaron al azar 314 pares de documentos (artículos científicos revisados) y sus correspondientes revisiones por pares de los conjuntos de datos F1000RD y NLPeer.
• Proceso de anotación:
  • Pre-alineación: Un algoritmo ligero utilizando forma y similitud semántica (Levenshtein, coincidencia difusa, SBERT) pre-identifica candidatos de alineación de oraciones, logrando una precisión de 0.95 antes de la validación humana.
  • Entorno: Se construyó un entorno de anotación cross-document utilizando INCEpTION para permitir que los anotadores vieran el contexto completo del documento, lo cual es crucial para la etiquetación precisa de la intención.
  • Anotadores: Seis estudiantes de maestría con un nivel de inglés C1 realizaron la anotación.
  • Control de calidad: Un proceso de gestión de calidad iterativo que involucró capacitación, estudios piloto y reuniones intermedias mejoró la concordancia entre anotadores (IAA).
• Estadísticas: El conjunto de datos contiene 11,648 ediciones a nivel de oración, 5,064 ediciones a nivel de párrafo y 2,008 ediciones a nivel de sección. También incluye 560 solicitudes de revisión extraídas y 1,364 vínculos entre las revisiones y los resúmenes de respuesta de los autores.
• Fiabilidad: El conjunto de datos logró un IAA sustancial de 0.78 (alfa de Krippendorff) para el etiquetado y un IAA perfecto de 1.0 para la alineación.

Evaluación experimental

Los autores utilizaron Re3-Sci para evaluar las capacidades de los modelos de lenguaje de gran tamaño (LLM) de última generación, específicamente Llama2-70B y GPT-4, en cuatro tareas:

1. Clasificación de la intención de la edición: Predecir la etiqueta de intención para una edición de oración.
2. Resumen de edición de documentos: Generar un resumen coherente de todas las ediciones en un documento.
3. Alineación de revisiones: Determinar si dos oraciones de diferentes versiones constituyen un par de revisión.
4. Extracción de solicitudes de revisión: Identificar oraciones de revisión que impulsan las revisiones.

Los experimentos emplearon Aprendizaje en Contexto (ICL) con varios métodos de selección de demostraciones (dinámico vs. estático) y estrategias de prompting de Cadena de Pensamiento (CoT).

Resultados clave

Insights del análisis del conjunto de datos

El análisis de Re3-Sci reveló varios patrones en la revisión colaborativa humana:

• Correlación Acción/Intención: Las adiciones y eliminaciones son impulsadas principalmente por cambios en el contenido factual o las afirmaciones, mientras que las modificaciones se utilizan predominantemente para mejoras de gramática y claridad.
• Distribución: Las revisiones se concentran en las partes iniciales y finales de los artículos. El principio presenta más modificaciones, mientras que el final presenta más adiciones/eliminaciones.
• Agrupamiento (Clustering): Las ediciones no se distribuyen uniformemente; se agrupan significativamente dentro de párrafos específicos (Factor de Crest promedio de 3.79).
• Impacto de la revisión: Las sugerencias de edición explícitas de los revisores se implementan con más frecuencia (más del 50%) que las sugerencias implícitas o los comentarios de debilidad general.

Rendimiento de los LLM

• Clasificación de la intención de la edición: Llama2-70B logró una puntuación F1 de macro-promedio de 0.69 en el conjunto de prueba completo. El mejor rendimiento se logró utilizando una combinación de demostraciones dinámicas (seleccionadas mediante similitud basada en diferencias) y ejemplos estáticos con racional de CoT. El modelo tuvo dificultades para distinguir entre cambios de "Hecho/Evidencia" y "Afirmación".
• Alineación de revisiones: Llama2-70B logró una precisión de 0.97, mejorando significativamente el recall del algoritmo de pre-alineación para la alineación (0.92 vs. 0.99) y la precisión para la no-alineación (0.89 vs. 0.99).
• Resumen de edición de documentos: GPT-4 generó resúmenes coherentes pero exhibió problemas de factibilidad (el 4% de las oraciones contenían errores fácticos) y exhaustividad (fallando en abordar el 21% de las ediciones). Los humanos superaron a GPT-4 en factibilidad y especificidad, mientras que GPT-4 produjo resúmenes ligeramente más compactos.
• Extracción de solicitudes de revisión: El modelo logró un alto recall (0.98) para muestras positivas pero una precisión más baja (0.74), lo que indica dificultad para distinguir entre solicitudes accionables y comentarios generales.

Significancia y contribuciones

El artículo reclama cuatro contribuciones primarias:

1. Un marco integral: Re3 proporciona el primer marco formal para modelar conjuntamente revisiones, ediciones y respuestas, con una taxonomía de etiquetas y una metodología de anotación robusta.
2. Un conjunto de datos de alta calidad: Re3-Sci es el primer corpus a gran escala con anotaciones de alcance completo de alineaciones, acciones e intenciones de edición en múltiples niveles de granularidad en la escritura académica.
3. Insights empíricos: El estudio proporciona el primer análisis a gran escala del comportamiento de edición humana en la revisión por pares académica, revelando relaciones entre las acciones de edición, las intenciones y la estructura del documento.
4. Baselines de automatización: El trabajo establece líneas base para cuatro tareas de NLP, demostrando que, si bien los LLM muestran promesa (particularmente en alineación y resumen), persisten desafíos significativos en la comprensión de intenciones de edición complejas y en asegurar la precisión fáctica en los resúmenes generados.

Los autores concluyen que su trabajo allana el camino para un estudio sistemático y de alcance completo de la colaboración basada en texto en NLP, ofreciendo una base para la investigación futura en asistencia de revisión automatizada, generación de ediciones y el anclaje de ediciones a solicitudes de revisión. Expresan explícitamente las limitaciones, incluyendo el enfoque en publicaciones científicas en lengua inglesa y el uso de resúmenes generados por humanos en lugar de respuestas de los autores debido a la disponibilidad de datos.