💻 computer science

How Annotator Agreement Affects Sentiment Classification Performance for Indonesian Coastal Tourism Reviews

Este estudio demuestra que el entrenamiento de clasificadores de sentimiento en un conjunto de datos más amplio de reseñas de turismo costero indonesio basado en el voto de la mayoría produce un mayor rendimiento que un conjunto de datos de consenso estrictamente unánime, aunque los resultados sugieren que el aumento del volumen de datos y el equilibrio de clases, en lugar de la retención de instancias ambiguas por sí sola, pueden ser los principales impulsores de la mejora, mientras que IndoBERT reduce eficazmente la clasificación errónea sistemática de las reseñas neutrales.

Autores originales: Sandy Kurniawan, Henri Tantyoko, Khadijah Khadijah, Helmie Arif Wibawa

Publicado 2026-08-31

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sandy Kurniawan, Henri Tantyoko, Khadijah Khadijah, Helmie Arif Wibawa

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En la era digital, la voz del viajero se ha convertido en una biblioteca masiva y no estructurada de opinión humana. Millones de personas escriben reseñas sobre playas, hoteles y restaurantes, vertiendo sus esperanzas, decepciones y observaciones en textos que a menudo son informales, llenos de jerga y profundamente matizados. Para las empresas y los investigadores, el desafío es dar sentido a este aluvión. Necesitan saber no solo si una reseña es buena o mala, sino exactamente cómo se siente el autor. Este es el dominio del análisis de sentimiento, una rama de la informática que enseña a las máquinas a leer emociones. Durante años, el enfoque estándar ha sido que los humanos etiqueten estas reseñas con categorías simples como "positivo", "negativo" o "neutro", y luego entrenar a las computadoras para que reconozcan esos patrones. Sin embargo, el juicio humano rara vez es perfecto. Cuando tres personas leen la misma reseña, pueden discrepar sobre si es verdaderamente neutral o ligeramente negativa. Esta discrepancia crea un rompecabezas para los científicos: ¿deberían desechar las reseñas confusas para quedarse solo con aquellas en las que todos están de acuerdo, o deberían conservar las complicadas y disputadas para darle a la computadora más ejemplos de los cuales aprender?

Un equipo de investigadores de la Universidad Diponegoro en Indonesia se propuso resolver este rompecabezas específico utilizando reseñas de destinos turísticos costeros. Se centraron en el idioma indonesio, que es rico en expresiones informales y variaciones regionales, lo que lo convierte en un caso de prueba particularmente difícil para las computadoras. Los investigadores recopilaron cientos de miles de reseñas públicas de Google Maps que cubrían playas de todo el archipiélago. Tras limpiar los datos y filtrar los duplicados o el texto que no fuera indonesio, seleccionaron una muestra equilibrada de aproximadamente 22,000 reseñas para ser leídas por tres anotadores humanos. Cada persona decidió de forma independiente si una reseña era positiva, negativa o neutra. Este proceso reveló una realidad natural: los humanos no siempre estaban de acuerdo. Algunas reseñas eran tan claras que los tres anotadores eligieron la misma etiqueta, mientras que otras eran lo suficientemente ambiguas como para que dos estuvieran de acuerdo y uno no, o donde los tres eligieron etiquetas diferentes.

Los investigadores dividieron entonces sus datos en dos grupos distintos para ver cómo afectaba esta discrepancia al aprendizaje de la computadora. El primer grupo, al que llamaron el conjunto "unánime", contenía únicamente las reseñas donde los tres humanos estaban de acuerdo. Esta era una colección más pequeña y limpia de 15,527 reseñas, pero carecía de los casos complicados y ambiguos. El segundo grupo, el conjunto de "mayoría", conservaba las reseñas unánimes pero también añadía aquellas donde dos de los tres humanos estaban de acuerdo. Este conjunto más grande contenía 21,235 reseñas e incluía muchos más ejemplos de texto neutral, de sentimiento mixto o confuso que suelen confundir a las computadoras. Luego, entrenaron tres tipos diferentes de programas informáticos con estos dos grupos. Dos de los programas utilizaron métodos tradicionales más antiguos que analizan las frecuencias de palabras, mientras que el tercero utilizó un sistema moderno y avanzado llamado IndoBERT, diseñado para comprender el contexto y las relaciones entre las palabras en el idioma indonesio, de forma muy similar a como lo hace un lector humano.

Los resultados fueron claros y algo sorprendentes. Contrario a la idea de que una computadora aprende mejor solo con ejemplos de acuerdo perfecto, todos los programas funcionaron mejor cuando fueron entrenados con el grupo más grande y desordenado que incluía las reseñas disputadas. El sistema más avanzado, IndoBERT, logró una puntuación más alta cuando aprendió del grupo de voto por mayoría en comparación con el grupo unánime. Esto sugiere que, al desechar las reseñas ambiguas para asegurar un acuerdo perfecto, los investigadores en realidad estaban desechando lecciones valiosas. Las reseñas disputadas a menudo contenían los sentimientos complejos y mixtos que expresan los viajeros reales, y tener más de estos ejemplos ayudó a la computadora a comprender toda la gama de la emoción humana. El estudio encontró que la mayor mejora se produjo en la capacidad de identificar correctamente las reseñas "neutrales". Cuando la computadora fue entrenada solo con los datos limpios y unánimes, tuvo dificultades para distinguir entre una reseña verdaderamente neutral y una ligeramente positiva o negativa. Pero cuando se le permitió estudiar los datos de la mayoría, que tenían muchos más ejemplos de estos casos neutrales, mejoró mucho en su capacidad de reconocimiento.

Sin embargo, los investigadores fueron cuidadosos al señalar que esta mejora podría no deberse únicamente a la discrepancia en sí misma. El grupo más grande simplemente tenía más datos y un mejor equilibrio de ejemplos neutrales, que son naturalmente más difíciles de encontrar que los ejemplos claramente positivos o negativos. El estudio no demostró que la discrepancia sea buena en sí misma, sino que filtrarla elimina demasiada información útil. La computadora todavía tuvo dificultades con ciertos tipos de escritura compleja, como las reseñas que elogiaban una parte de una playa mientras criticaban otra, o aquellas que utilizaban un lenguaje sutil e indirecto para expresar decepción. Estos casos difíciles siguieron siendo un desafío incluso para el modelo más avanzado. En última instancia, el trabajo sugiere que en el desordenado mundo del lenguaje humano, un poco de desacuerdo en los datos de entrenamiento puede ser necesario para enseñar a una computadora a comprender verdaderamente la sutileza de la voz de un viajero.

Resumen Técnico: Acuerdo de Anotadores y Clasificación de Sentimiento en el Turismo Costero Indonesio

Planteamiento del Problema
El procesamiento de Contenido Generado por el Usuario (UGC) para el turismo regional, específicamente las reseñas costeras de Indonesia, se ve obstaculizado por la complejidad lingüística, la ambigüedad y la naturaleza subjetiva del sentimiento. Aunque los modelos de contexto profundo como IndoBERT ofrecen una comprensión semántica superior en comparación con las líneas base tradicionales, su eficacia está fundamentalmente limitada por la calidad de los datos de entrenamiento anotados. Un desafío metodológico central en las tareas de PLN subjetivas es el tratamiento del desacuerdo entre anotadores. Las estrategias convencionales suelen emplear el voto por mayoría para resolver disputas, descartando la información sobre el desacuerdo en sí mismo, o filtran los datos para retener solo el consenso unánime. Esto crea un compromiso: filtrar por alto consenso puede mejorar la consistencia de las etiquetas pero elimina ejemplos lingüísticamente ambiguos e informativos, mientras que retener las instancias de mayoría de votos aumenta el tamaño y la diversidad del conjunto de datos pero introduce un potencial ruido en las etiquetas. El impacto específico de estas condiciones de acuerdo de anotación en el rendimiento de la clasificación de sentimiento posterior, particularmente dentro del dominio indonesio, sigue sin explorarse suficientemente.

Metodología
El estudio construye un conjunto de datos de 21,779 reseñas de turismo costero indonesio extraídas de Google Maps, que cubren regiones desde Sumatra hasta Papúa. Los datos fueron sometidos a un submuestreo estratificado para equilibrar las calificaciones de estrellas originales, seguido de una anotación manual por parte de tres anotadores humanos independientes que asignaron etiquetas de positivo, negativo o neutro.

Los investigadores organizaron los datos en dos pistas experimentales de entrenamiento distintas para aislar los efectos de la anotación de acuerdo:

Pista A (Consenso Unánime): Contiene solo las reseñas donde los tres anotadores asignaron la misma etiqueta ( $n=15,527$ ). Este subconjunto está fuertemente sesgado hacia sentimientos polarizados, con instancias neutras que comprenden solo el 9.48% de los datos.
Pista B (Voto por Mayoría): Retiene las reseñas resueltas mediante un acuerdo de dos contra uno ( $n=21,235$ ). Este subconjunto incluye todas las instancias unánimes más aquellas con desacuerdo resuelto, lo que resulta en una proporción significativamente mayor de etiquetas neutras (20.08%) y un vocabulario más amplio.

Se entrenaron y evaluaron tres modelos bajo ambas condiciones utilizando un conjunto de prueba idéntico y reservado de 300 reseñas equilibradas (100 por clase):

Clasificador de Vectores de Soporte Lineal (SVM) con características TF-IDF (unigramas y bigramas).
Naive Bayes Multinomial con características TF-IDF.
IndoBERT (indobenchmark/indobert-base-p1), un modelo basado en Transformer preentrenado en el corpus Indo4B de Indonesia.

Los procesos de preprocesamiento difirieron según la familia del modelo: los modelos tradicionales utilizaron derivación (stemming) y eliminación de palabras de parada (stopword removal, reteniendo palabras de negación), mientras que IndoBERT utilizó un proceso menos agresivo que preserva las formas morfológicas originales y la puntuación para mantener la integridad contextual.

Resultos Clave
Contrario a la hipótesis de que un mayor consenso de anotación produce un mejor rendimiento, los tres clasificadores lograron puntuaciones de Exactitud (Accuracy) y F1 Macro más altas cuando fueron entrenados en la Pista B (Voto por Mayoría) en comparación con la Pista A (Consenso Unánime).

IndoBERT: Logró un F1 Macro de 0.9327 en la Pista B frente a 0.9255 en la Pista A.
SVM: Mejoró de un F1 Macro de 0.7223 (Pista A) a 0.7552 (Pista B).
Naive Bayes: Mostró la ganancia relativa más significativa, pasando de 0.5084 (Pista A) a 0.6433 (Pista B).

Análisis de Error y "Filtración de Neutralidad"
El análisis de la matriz de confusión reveló que la clase neutra fue la principal fuente de error, particularmente para los modelos tradicionales basados en TF-IDF. Se observó un fenómeno denominado "Filtración de Neutralidad" (Neutrality Bleed), donde los clasificadores tradicionales clasificaron sistemáticamente las reseñas neutras como polarizadas (positivas o negativas).

En la Pista A, Naive Bayes no logró identificar ninguna instancia de prueba neutra (Recall = 0.00), clasificándolas erróneamente como negativas o positivas.
IndoBERT demostró una robustez superior, logrando un recall de neutralidad de 0.83 en la Pista A y 0.86 en la Pista B, superando significativamente a las líneas base en la distinción de sentimientos neutros de los polarizados.

El análisis cualitativo identificó desafíos lingüísticos específicos que siguieron siendo difíciles incluso para IndoBERT, incluyendo:

Sentimiento espacialmente conflictivo: Reseñas que evalúan diferentes partes de un destino con polaridades opuestas (por ejemplo, basura en el lado oeste frente a grandes olas en el norte).
Evaluaciones mixtas de múltiples aspectos: Reseñas largas que contienen múltiples aspectos positivos y negativos que se agregan para resultar en una calificación neutra, pero que a menudo se clasifican erróneamente como negativas debido al peso acumulativo de las señales negativas.
Crítica indirecta: Expresiones sutiles de insatisfacción (por ejemplo, "es una lástima") que los modelos a veces interpretan erróneamente como neutras.

Significancia y Reivindicaciones
El artículo sostiene que, dentro del contexto de este conjunto de datos y configuración experimental específica, retener las instancias resueltas por mayoría (Pista B) produce un mejor rendimiento predictivo que restringirse al consenso unánime (Pista A). Los autores atribuyen esta mejora al aumento en el tamaño del conjunto de entrenamiento, al vocabulario más amplio y, crucialmente, a la representación mejorada de la clase neutra en la Pista B.

Sin embargo, los autores declaran explícitamente que estos hallazgos no pueden atribuirse únicamente al acuerdo de los anotadores. Debido a que la Pista B es un superconjunto de la Pista A con distribuciones de clase y tamaños de muestra diferentes, las ganancias de rendimiento observadas pueden reflejar igualmente los beneficios del aumento en el volumen de datos y el equilibrio de clases. Por consiguiente, el estudio no afirma que el desacuerdo de los anotadores sea inherentemente beneficioso; más bien, destaca un compromiso donde el filtrado por consenso elimina ejemplos informativos y ambiguos que son críticos para entrenar modelos robustos, particularmente para la clase neutra.

El estudio concluye que, si bien IndoBERT mitiga sustancialmente los errores asociados con la negación y las construcciones de sentimiento mixto en comparación con las líneas base tradicionales, persisten desafíos específicos del dominio como las evaluaciones de múltiples aspectos y las expresiones regionales. Los autores llaman a realizar futuros experimentos controlados que mantengan constantes el tamaño del conjunto de entrenamiento y la distribución de clases para aislar la contribución específica del acuerdo de los anotadores, y sugieren avanzar hacia el Análisis de Sentimiento Basado en Aspectos (ABSA) para manejar mejor las reseñas con polaridades conflictivas.

Más como este