Sentiment Analysis of Government Mobile App Reviews: Validating Zero-Shot Classification with a Large Language Model

Cada día, millones de personas interactúan con sus gobiernos a través de las pequeñas pantallas de sus teléfonos inteligentes. Utilizan aplicaciones para pagar recetas médicas, renovar documentos de identidad o acceder a registros públicos. Si bien estas herramientas están destinadas a facilitar la vida, también generan un flujo constante de comentarios en forma de reseñas de usuarios. Estos textos cortos e informales son una mina de oro para comprender cómo se sienten los ciudadanos respecto a los servicios públicos digitales, pero también representan un desafío para los investigadores. A diferencia de una simple calificación de estrellas, que ofrece un único número, una reseña contiene palabras que conllevan matices, ironía y emociones complejas. En países donde el idioma principal no es el inglés, analizar estos comentarios se vuelve aún más difícil porque los programas informáticos sofisticados que se suelen utilizar para esta tarea han sido entrenados frecuentemente con datos en inglés y tienen dificultades con la gramática y el vocabulario específicos de otras lenguas.

Durante mucho tiempo, la solución a este problema ha sido traducir las reseñas al inglés o construir un software personalizado para cada idioma específico, un proceso que requiere enormes cantidades de datos etiquetados y experiencia técnica. Sin embargo, ha surgido un nuevo tipo de inteligencia artificial, conocida como modelo de lenguaje de gran tamaño (LLM). Estos modelos han sido entrenados con cantidades ingentes de texto de todo internet y pueden comprender el contexto y las instrucciones sin necesidad de ser reentrenados para cada nueva tarea. La pregunta que enfrentan los investigadores es si estas poderosas herramientas pueden leer y categorizar con precisión los sentimientos en reseñas cortas y no inglesas de aplicaciones gubernamentales sin necesidad de un ajuste especial, y si pueden hacerlo con la consistencia suficiente para ser confiables para los administradores públicos.

Un equipo de investigadores de la Universidad Jan Evangelista Purkyně en Ústí nad Labem se propuso responder a esta pregunta utilizando el idioma checo como su caso de prueba. Reunieron una colección masiva de más de diez mil reseñas de seis aplicaciones móviles gubernamentales diferentes utilizadas por los ciudadanos en la República Checa. Estas aplicaciones cubren una amplia gama de servicios, desde recetas electrónicas hasta tarjetas de identidad digitales. Los investigadores querían ver si un proceso estandarizado utilizando un modelo de lenguaje de gran tamaño podía clasificar estas reseñas en tres categorías simples: positivas, negativas o neutrales. Para asegurar que los resultados fueran fiables, no se limitaron a confiar en la producción de la computadora. En su lugar, crearon una "verdad fundamental" (ground truth) haciendo que expertos humanos leyeran y acordaran el sentimiento de una muestra cuidadosamente seleccionada de quinientas reseñas. Esta muestra verificada por humanos sirvió como el punto de referencia contra el cual se midió el rendimiento de la computadora.

El estudio comparó el modelo de lenguaje de gran tamaño con otros métodos, incluyendo herramientas simples de conteo de palabras y tipos más antiguos de IA que se utilizan comúnmente para el análisis de texto. Las herramientas de conteo de palabras, que dependen de diccionarios de palabras positivas y negativas, tuvieron un desempeño deficiente. A menudo no lograban comprender el contexto de una oración, perdiendo el hecho de que una palabra como "pero" podría cambiar completamente el significado de una reseña. Los modelos de IA más antiguos, aunque mejores que los diccionarios, seguían teniendo dificultades para alcanzar una alta precisión sin un entrenamiento específico en datos gubernamentales checos. En contraste, el modelo de lenguaje de gran tamaño, al recibir instrucciones claras sobre cómo clasificar el texto, demostró una capacidad notable para comprender los matices del idioma checo. Identificó correctamente el sentimiento en la gran mayoría de los casos de prueba, coincidiendo con los juicios de los expertos humanos con un alto grado de concordancia.

Uno de los hallazgos más críticos de la investigación fue la estabilidad de los resultados. Debido a que los modelos de lenguaje de gran tamaño son sistemas complejos, existía la preocupación de que ejecutar el mismo análisis dos veces pudiera producir respuestas diferentes. Los investigadores probaron esto ejecutando el proceso de clasificación cinco veces por separado bajo condiciones idénticas. Encontraron que la versión más reciente del modelo era increíblemente consistente, produciendo resultados casi iguales en cada ocasión. Esta consistencia es vital para el uso en el mundo real, ya que significa que la herramienta puede ser confiable para dar la misma respuesta al mismo problema, independientemente de cuándo se utilice. El modelo de la versión anterior, sin embargo, mostró mucha más variación entre ejecuciones, lo que sugiere que la versión específica del software importa enormemente.

Cuando los investigadores aplicaron el modelo más estable y preciso a la colección completa de diez mil reseñas, surgió un panorama claro del sentimiento de los ciudadanos. El análisis reveló que los comentarios negativos eran los más comunes, con casi dos tercios de todas las reseñas expresando insatisfacción. Las reseñas positivas representaron aproximadamente una cuarta parte del total, mientras que los comentarios verdaderamente neutrales fueron los más raros, representando menos del ocho por ciento. Curiosamente, el texto de las reseñas no siempre coincidía perfectamente con las calificaciones de estrellas que los usuarios daban a las aplicaciones. Mientras que una calificación de una estrella casi siempre correspondía a un texto negativo, y una calificación de cinco estrellas usualmente coincidía con un texto positivo, el punto medio era desordenado. Muchas reseñas de tres estrellas contenían texto negativo, y algunas de cinco estrellas incluían quejas, lo que demuestra que los usuarios a menudo mezclan sus sentimientos de formas que una simple calificación de estrellas no puede capturar.

El estudio también destacó dónde la tecnología todavía enfrenta desafíos. La categoría más difícil para que la computadora acertara fue el sentimiento "neutral". Esta categoría incluye descripciones fácticas, preguntas o sentimientos mixtos donde no hay una emoción fuerte presente. El modelo a veces tenía dificultades para distinguir entre un comentario neutral y uno ligeramente negativo o positivo. Sin embargo, incluso con esta dificultad, el modelo superó a todos los demás métodos disponibles que no requerían un entrenamiento personalizado. Los investigadores concluyeron que un procedimiento estandarizado utilizando un modelo de lenguaje de gran tamaño puede analizar eficazmente los comentarios cortos y no ingleses de los ciudadanos, siempre que el proceso esté cuidadosamente documentado y validado contra el juicio humano.

Este trabajo no sugiere que la tecnología sea perfecta o que pueda reemplazar totalmente la visión humana. Los investigadores enfatizaron que el rendimiento del modelo depende de las instrucciones específicas que se le den y de la calidad del proceso de validación. También señalaron que los resultados son específicos para este conjunto particular de aplicaciones gubernamentales y el idioma checo, y que diferentes aplicaciones o idiomas podrían arrojar resultados distintos. No obstante, el estudio proporciona evidencia sólida de que los administradores públicos pueden ahora utilizar estas herramientas para escuchar a sus ciudadanos a escala, incluso en idiomas donde el software especializado no estaba disponible previamente. Al convertir miles de comentarios no estructurados en datos claros y categorizados, estas herramientas ofrecen una nueva forma de comprender las experiencias diarias de las personas que utilizan los servicios públicos digitales, ayudando a los gobiernos a mejorar las herramientas que los sirven.