Sentiment Analysis of AI Adoption in Indonesian Higher Education Using Machine Learning and Transformer-Based Models

Aquí se presenta un resumen técnico detallado del artículo "Análisis de sentimientos sobre la adopción de la IA en la educación superior indonesia utilizando aprendizaje automático y modelos basados en transformadores".

1. Planteamiento del Problema

La rápida adopción de la Inteligencia Artificial (IA) en la educación superior indonesia ha generado una mezcla compleja de opiniones estudiantiles, que van desde el apoyo a la eficiencia en el aprendizaje hasta preocupaciones sobre la integridad académica, la sobredependencia y la erosión de las habilidades de pensamiento crítico.

• La Brecha: Si bien el análisis de sentimientos es una herramienta estándar para medir la opinión pública, existe una falta de estudios comparativos que evalúen la efectividad del aprendizaje automático (ML) clásico frente al aprendizaje profundo (DL) basado en transformadores específicamente para texto en idioma indonesio en el contexto de la adopción de la IA en la educación.
• El Objetivo: Analizar sistemáticamente las opiniones de los estudiantes indonesios sobre la IA y determinar qué enfoque de modelado (ML basado en TF-IDF frente a DL basado en transformadores) ofrece un rendimiento superior para la clasificación de sentimientos binarios (Positivo vs. Negativo) en este dominio específico.

2. Metodología

A. Construcción del Conjunto de Datos

• Fuente: El estudio utilizó un conjunto de datos híbrido que combina 1.154 opiniones estudiantiles crudas sobre la IA en la educación superior con 1.141 muestras de un diccionario léxico de positivo/negativo.
• Tamaño Total: 2.295 muestras etiquetadas.
• Distribución de Clases: El conjunto de datos está casi equilibrado:
  • Negativo: 1.158 muestras (50,46%)
  • Positivo: 1.137 muestras (49,54%)
• Preprocesamiento: La limpieza de texto incluyó minúsculas, eliminación de URLs/menciones/etiquetas/puntuación, normalización de palabras no estándar y manejo de caracteres repetidos.

B. Flujo de Trabajo Experimental

Los datos se dividieron en una proporción 80:10:10 para los conjuntos de Entrenamiento, Validación y Prueba. Se implementaron dos flujos de trabajo distintos:

1. Flujo de Trabajo de Aprendizaje Automático (Línea Base)

• Extracción de Características: El texto se convirtió en vectores TF-IDF utilizando unigramas y bigramas.
• Modelos Evaluados:
  • LightGBM: Un ensemble de boosting (configurado con n_estimators=100, max_depth=10).
  • Random Forest: Un ensemble paralelo (configurado con n_estimators=100, max_depth=20).
  • Máquina de Vectores de Soporte (SVM): Un clasificador basado en kernels utilizando un kernel RBF (C=1.0).
• Selección: Los modelos se seleccionaron en función de la precisión de validación, eligiendo SVM como el mejor representante de ML para la comparación final.

2. Flujo de Trabajo de Aprendizaje Profundo (Transformador)

• Modelo: DistilBERT (distilbert-base-uncased), una versión ligera y destilada de BERT diseñada para mantener el rendimiento mientras reduce el costo computacional.
• Arquitectura: Codificador de seis capas con mecanismos de atención automática.
• Configuración:
  • Longitud máxima de secuencia: 128 tokens.
  • Tamaño de lote: 64.
  • Optimizador: AdamW con una tasa de aprendizaje de $1 \times 10^{-6}$.
  • Regularización: Dropout (0,5), Decaimiento de Peso (0,001).
  • Entrenamiento: 100 épocas con Parada Temprana (patience=5) basada en la puntuación F1 de validación.

C. Métricas de Evaluación

El rendimiento se evaluó utilizando Precisión, Exactitud, Recall y Puntuación F1.

3. Resultados Clave

A. Rendimiento del Aprendizaje Automático

• LightGBM: Rindió pobremente (Precisión de Prueba: 49,67%, F1: 48,46%), lo que indica que lucha con características TF-IDF dispersas y de alta dimensión en este contexto.
• Random Forest: Mostró una mejora moderada (Precisión de Prueba: 58,61%, F1: 56,48%) pero permaneció inferior a SVM.
• SVM: Surgió como el mejor modelo clásico de ML.
  • Precisión de Validación: 87,25%
  • Precisión de Prueba: 82,14%
  • Puntuación F1 de Prueba: 82,14%
  • Observación: SVM demostró robustez al manejar datos de texto de alta dimensión, clasificando correctamente 377 de las 459 muestras de prueba.

B. Rendimiento del Transformador (DistilBERT)

• Precisión de Prueba: 84,78%
• Puntuación F1 de Prueba: 84,75% (Ponderada)
• Desglose por Clase:
  • F1 Clase Negativa: 0,8548
  • F1 Clase Positiva: 0,8402
• Observación: DistilBERT mostró un ligero sesgo hacia un recall más alto en muestras negativas, pero mantuvo una precisión equilibrada entre las clases. La pérdida de entrenamiento (0,28) y la pérdida de validación (0,36) indicaron una buena generalización sin sobreajuste severo.

C. Análisis Comparativo

• Brecha de Rendimiento: DistilBERT superó al mejor modelo de ML (SVM) en un 2,64% en precisión y un 2,61% en puntuación F1.
• Compensación de Eficiencia:
  • SVM: Tiempo de entrenamiento extremadamente rápido (0,210s).
  • DistilBERT: Tiempo de entrenamiento significativamente más largo (22,8 minutos) debido al procesamiento intensivo en GPU.
• Conclusión sobre Modelos: Si bien los transformadores capturan un contexto semántico más rico que conduce a una mayor precisión, SVM sigue siendo una alternativa altamente competitiva y de bajo costo para la clasificación de sentimientos eficiente.

4. Contribuciones Clave

1. Análisis Específico del Contexto: Proporciona evidencia empírica sobre cómo los estudiantes universitarios indonesios perciben la adopción de la IA, abordando una brecha en la literatura local de PLN.
2. Comparación Metodológica: Ofrece un punto de referencia riguroso que compara los enfoques tradicionales TF-IDF/SVM con modelos modernos basados en transformadores (DistilBERT) para texto educativo indonesio.
3. Creación de Conjunto de Datos: Curó y procesó un conjunto de datos equilibrado de 2.295 muestras indonesias enfocadas específicamente en la IA en la educación superior.
4. Despliegue Práctico: El modelo de mejor rendimiento (DistilBERT) se desplegó como una aplicación web interactiva utilizando Gradio y Hugging Face Spaces, permitiendo la predicción de sentimientos en tiempo real con puntuaciones de confianza.

5. Significado y Trabajo Futuro

• Significado: El estudio valida que, si bien los modelos de aprendizaje profundo (Transformadores) ofrecen una precisión superior al comprender el contexto, los modelos clásicos como SVM siguen siendo viables para entornos con recursos limitados. Esto ayuda a las instituciones educativas a elegir herramientas apropiadas para la toma de decisiones basada en la retroalimentación estudiantil.
• Direcciones Futuras:
  • Ampliar el tamaño del conjunto de datos.
  • Introducir una clase neutral para clasificación de tres vías.
  • Utilizar modelos preentrenados específicos para indonesio (por ejemplo, IndoBERT) en lugar del distilbert-base-uncased centrado en inglés.
  • Realizar análisis de sentimientos basado en aspectos para identificar preocupaciones específicas (por ejemplo, integridad frente a eficiencia de aprendizaje) en lugar de solo la polaridad general.