Aspect-Based Sentiment Evolution and its Correlation with Review Rounds in Multi-Round Peer Reviews: A Deep Learning Approach

Resumen Técnico: Evolución del Sentimiento Basado en Aspectos y su Correlación con las Rondas de Revisión en Revisiones por Pares de Múltiples Rondas

Planteamiento del Problema
Aunque la minería de sentimiento en los comentarios de revisión por pares ofrece información valiosa sobre la evaluación científica, la investigación existente se ve limitada por dos restricciones primarias: un análisis de aspectos de grano grueso (por ejemplo, categorías amplias como "innovación" o "claridad") y una falta de diferenciación entre las múltiples rondas de revisión. La mayoría de los estudios tratan el proceso de revisión como un bloque monolítico o dependen de la duración total del ciclo de revisión, fallando al capturar los cambios dinámicos en el enfoque de los revisores y las tendencias de sentimiento a medida que los autores revisan sus manuscritos. En consecuencia, existe una brecha en la comprensión de cómo evolucionan los sentimientos de los aspectos de grano fino desde la presentación hasta la publicación y cómo estos sentimientos se correlacionan con el número específico de rondas de revisión que atraviesa un artículo.

Metodología
El estudio emplea un enfoque basado en aprendizaje profundo para analizar comentarios de revisión por pares de múltiples rondas de Nature Communications (NC), cubriendo 11,063 artículos aceptados publicados entre 2016 y 2020. La metodología avanza a través de cuatro etapas clave:

1. Recolección y Preprocesamiento de Datos: Los autores recolectaron 41,373 archivos de revisión por pares. Utilizando el reconocimiento de reglas estructurales y anotación manual, los textos fueron segmentados por rondas de revisión (que oscilan entre 1 y 6 rondas). El ruido fue limpiado y las oraciones fueron tokenizadas.
2. Identificación de Aspectos: Se implementó un flujo de trabajo de extracción de aspectos de grano fino:
   • Las frases nominales fueron identificadas utilizando la herramienta spaCy.
   • El algoritmo de Doble Propagación (DP) extrajo palabras de aspecto candidatas basadas en dependencias sintácticas (por ejemplo, mod, obj).
   • Las palabras de aspecto de alta frecuencia fueron agrupadas mediante Propagación de Afinidad (AP) en vectores Word2Vec de 200 dimensiones, resultando en 11 clústeres de aspectos distintos (por ejemplo, "Experimentos y Operaciones", "Análisis de Resultados y Evaluación", "Metodología y Modelo").
3. Construcción del Corpus y Clasificación de Sentimiento:
   • Se creó un corpus anotado manualmente de 5,063 oraciones de revisión, etiquetando los sentimientos de los aspectos como positivos, neutrales, negativos o ambiguos. La consistencia entre anotadores fue verificada mediante coeficientes Kappa (0.63–0.66).
   • Un experimento comparativo evaluó 14 modelos de aprendizaje profundo, incluyendo arquitecturas no basadas en BERT (LSTM, MEMNET, IAN) y modelos basados en BERT (AEN-BERT, LCF-BERT, LCFS-BERT, variantes de RoBERTa).
   • El modelo LCF-BERT-CDM (BERT con Foco de Contexto Local y Mecanismo de Distancia Contextual) fue seleccionado como el modelo óptimo basado en el rendimiento.
4. Análisis Estadístico y de Correlación:
   • El modelo óptimo fue utilizado para clasificar los sentimientos en todo el corpus.
   • Los puntajes de sentimiento se calcularon tanto a nivel de aspecto como a nivel de documento utilizando una fórmula de diferencia normalizada entre las frecuencias positivas y negativas.
   • Se realizó un análisis de correlación de Spearman para examinar la relación entre los puntajes de sentimiento de los aspectos y el número total de rondas de revisión.

Resultados Clave

• Rendimiento del Modelo: El modelo LCF-BERT-CDM alcanzó el mayor rendimiento con una puntuación Macro-F1 del 82.65% y una Exactitud del 82.72%, superando tanto a los modelos no basados en BERT como a otras variantes de BERT. Esto sugiere que enfatizar las palabras de contexto local cerca del término del aspecto es crítico para la clasificación del sentimiento en la revisión por pares.
• Distribución del Sentimiento: Los sentimientos negativos y neutrales predominaron en todas las rondas de revisión, lo que refleja la naturaleza crítica de la revisión por pares. Sin embargo, surgió una tendencia consistente: a medida que aumentaba el número de rondas de revisión, la proporción de sentimientos positivos aumentó, mientras que los sentimientos negativos disminuyeron.
• Evolución de los Aspectos:
  • Los aspectos centrales como "Análisis de Resultados y Evaluación", "Impacto y Valor de la Investigación" y "Metodología y Modelo" mantuvieron un alto volumen de sentimiento durante todo el proceso.
  • En las rondas finales de revisión, la atención a "Estructura y Lenguaje" aumentó, indicando un cambio hacia detalles más finos una vez resueltos los problemas de contenido principales.
  • Para los artículos que pasaron por 2 o 3 rondas, el sentimiento positivo generalmente aumentó con cada ronda subsiguiente, aunque algunos aspectos (como "Metodología") mostraron una caída en la positividad en la segunda ronda antes de recuperarse en la tercera.
• Correlación con las Rondas de Revisión:
  • Existe una correlación negativa significativa entre los puntajes de sentimiento de los aspectos y el número total de rondas de revisión. Los puntajes de sentimiento más bajos (más negativos) se correlacionan con un mayor número de rondas.
  • Los aspectos que mostraron una correlación más fuerte con el número de rondas de revisión fueron "Experimentos y Operaciones" (EXP), "Impacto y Valor de la Investigación" (IMP) y "Análisis de Resultados y Evaluación" (RES).
  • En las rondas posteriores (Ronda 4+), el aspecto "Metodología y Modelo" mostró una correlación más fuerte con el número total de rondas, sugiriendo que los problemas metodológicos persistentes prolongan significativamente el proceso de revisión.

Significancia y Contribuciones
El artículo reclama significancia tanto en el dominio teórico como en el práctico:

• Contribución Teórica: El estudio avanza en el campo de la minería de comentarios de revisión al ir más allá del análisis de grano grueso hacia un análisis de sentimiento a nivel de aspecto de grano fino dentro de un contexto de múltiples rondas. Demuestra que el enfoque de los revisores y las tendencias de sentimiento no son estáticos, sino que evolucionan dinámicamente a través de las etapas de revisión, lo que requiere un enfoque analítico específico por ronda.
• Aplicación Práctica: Los hallazgos ofrecen una guía accionable para los autores. Al identificar que los sentimientos negativos respecto a experimentos, análisis de resultados y significancia de la investigación están fuertemente vinculados a ciclos de revisión extendidos, el estudio sugiere que los autores deben priorizar estos aspectos específicos durante la escritura y la revisión. Abordar estas áreas de manera efectiva puede potencialmente reducir el número de rondas de revisión y acortar el cronograma de publicación.

Limitaciones
Los autores reconocen varias limitaciones:

1. Alcance de los Datos: El conjunto de datos está restringido a artículos aceptados de Nature Communications, lo que introduce un posible sesgo de supervivencia. Los comentarios de artículos rechazados, que podrían contener patrones de sentimiento críticos, no fueron incluidos.
2. Generalizabilidad: Los hallazgos son específicos de la revista NC y pueden no generalizarse completamente a otras disciplinas o revistas con diferentes políticas de revisión.
3. Rendimiento del Modelo: Aunque LCF-BERT-CDM fue el mejor desempeño, el modelo aún tiene dificultades con las expresiones de sentimiento implícitas, y los errores pueden acumularse a través del flujo de trabajo experimental de múltiples pasos (segmentación, extracción de aspectos, clasificación).
4. Causalidad: El análisis de correlación no incorpora variables de control, lo que significa que las relaciones observadas son asociativas en lugar de estrictamente causales.