Classification of Public Opinion on the Free Nutritional Meal Program on YouTube Media Using the LSTM Method

Aquí se presenta un resumen técnico detallado del artículo "Clasificación de la Opinión Pública sobre el Programa de Comidas Nutritivas Gratuitas en los Medios de YouTube Utilizando el Método LSTM."

1. Planteamiento del Problema

El estudio aborda el desafío de analizar eficientemente la percepción pública respecto al Programa de Comidas Nutritivas Gratuitas (MBG), una iniciativa gubernamental en Indonesia dirigida a mejorar la nutrición infantil. Si bien plataformas de redes sociales como YouTube generan vastas cantidades de datos textuales en tiempo real que reflejan la opinión pública, el análisis manual de estos comentarios es inviable debido al volumen y la naturaleza no estructurada de los mismos.

• Problema Central: Existe la necesidad de un enfoque automatizado y basado en datos para clasificar los sentimientos (Positivo, Negativo, Neutral) y evaluar la aceptación de la política.
• Desafío Específico: El conjunto de datos exhibe un desequilibrio de clases severo, con sentimientos negativos dominando los datos (87.7%), lo que típicamente sesga los modelos de aprendizaje automático y dificulta la detección de clases minoritarias (sentimientos positivos).

2. Metodología

La investigación emplea un enfoque cuantitativo utilizando Procesamiento del Lenguaje Natural (PLN) y Aprendizaje Profundo. El flujo de trabajo consta de las siguientes etapas:

A. Recopilación de Datos

• Fuente: Comentarios extraídos de dos canales de YouTube que discuten el programa MBG.
• Volumen: Se recopilaron un total de 7,733 comentarios.
• Distribución: 5,629 comentarios negativos (87.7%) y 790 comentarios positivos (12.3%). Nota: El estudio se centra en la clasificación binaria (Positivo vs. Negativo).

B. Pipeline de Preprocesamiento

El texto crudo pasó por un proceso riguroso de limpieza para prepararlo para el modelado:

1. Doblado de Mayúsculas (Case Folding): Conversión a minúsculas.
2. Limpieza: Eliminación de URLs, menciones, hashtags, números y caracteres especiales.
3. Normalización: Estandarización de jerga y palabras no estándar en indonesio.
4. Tokenización: División del texto en palabras individuales.
5. Eliminación de Palabras Vacías (Stopwords): Eliminación de palabras no significativas utilizando la biblioteca NLTK.
6. Astinización (Stemming): Reducción de palabras a sus formas raíz utilizando la biblioteca Sastrawi (específica para indonesio).

C. Representación de Características

• Tokenización y Relleno (Padding): El texto se convirtió en índices enteros. Las secuencias se rellenaron para garantizar una longitud uniforme para el procesamiento por lotes.
• Incrustación (Embedding): Las palabras se mapearon a vectores de 128 dimensiones.

D. Arquitectura del Modelo

El estudio utilizó redes de Memoria a Largo y Corto Plazo (LSTM), elegidas por su capacidad para capturar dependencias a largo plazo y contexto secuencial en el texto, superando a las RNN tradicionales.

• Arquitectura:
  • Capa de Incrustación: 128 dimensiones.
  • Capa LSTM: Dimensión oculta de 128 con una tasa de abandono (dropout) de 0.3.
  • Capa de Abandono (Dropout): Tasa de 0.5 para prevenir el sobreajuste.
  • Capa Totalmente Conectada (FC): 2 neuronas de salida.
  • Capa de Salida: Activación Softmax para clasificación binaria.
• Hiperparámetros:
  • Optimizador: Adam (Tasa de Aprendizaje: 0.0005).
  • Función de Pérdida: CrossEntropyLoss.
  • Entrenamiento: 20 Épocas, Tamaño de Lote 16.
  • Parámetros Totales: ~2.23 millones.
• Comparación con Línea Base: El modelo LSTM se comparó contra algoritmos tradicionales de aprendizaje automático: SVM, Regresión Logística y Naive Bayes.

E. Métricas de Evaluación

El rendimiento se evaluó utilizando una matriz de confusión y las siguientes métricas:

• Precisión (Accuracy): Correctitud general.
• Precisión (Precision), Recall y Puntuación F1: Analizadas específicamente para abordar el problema del desequilibrio de clases.

3. Resultados Clave

El modelo LSTM demostró un rendimiento general sólido, pero reveló disparidades significativas entre clases debido al desequilibrio de datos.

• Precisión General: 89% en el conjunto de prueba (963 muestras).
• Rendimiento de la Clase Negativa (Clase Mayoritaria):
  • Puntuación F1: 0.94
  • Precisión: 0.94
  • Recall: 0.93
  • Interpretación: El modelo es altamente efectivo para identificar sentimientos negativos.
• Rendimiento de la Clase Positiva (Clase Minoritaria):
  • Puntuación F1: 0.55
  • Precisión: 0.54
  • Recall: 0.57
  • Interpretación: El modelo tiene dificultades para detectar sentimientos positivos, clasificándolos a menudo incorrectamente como negativos (Falsos Negativos).
• Dinámica de Entrenamiento: El modelo logró una precisión de entrenamiento del 98.26% y una precisión de validación del 88.99%, con una pérdida que disminuyó constantemente de 0.68 a 0.1225 a lo largo de 20 épocas.

4. Contribuciones Clave

1. Marco de Evaluación de Políticas: Proporciona un marco escalable y automatizado para que el gobierno indonesio evalúe la recepción pública del programa MBG utilizando datos de redes sociales.
2. Efectividad de LSTM en Texto Indonesio: Valida que las arquitecturas LSTM son altamente efectivas para el análisis de sentimientos en el idioma indonesio, particularmente para capturar el contexto en comentarios informales de redes sociales.
3. Evidencia Empírica del Impacto del Desequilibrio: El estudio cuantifica explícitamente cómo el desequilibrio de clases severo (87.7% negativo) degrada el rendimiento de los modelos de aprendizaje profundo en clases minoritarias, ofreciendo un estudio de caso de advertencia para futuros proyectos de análisis de sentimientos.
4. Análisis Comparativo: Confirma que el aprendizaje profundo (LSTM) supera a los métodos tradicionales (SVM, Naive Bayes) en el manejo de la naturaleza secuencial del texto de redes sociales, a pesar del desequilibrio de datos.

5. Significado y Direcciones Futuras

• Significado: La investigación destaca que, si bien el aprendizaje profundo es poderoso, no es una "bala de plata" para conjuntos de datos desequilibrados. La alta precisión (89%) oculta la incapacidad del modelo para escuchar la "voz positiva" del público, lo cual es crítico para una evaluación de políticas equilibrada.
• Limitaciones: La limitación principal es el desequilibrio de datos, lo que conduce a un sesgo hacia la clase negativa.
• Recomendaciones Futuras:
  • Equilibrio de Datos: Aplicar técnicas como SMOTE (Técnica de Sobremuestreo Sintético de Minoría) o ponderación de clases durante el entrenamiento.
  • Recopilación de Datos: Buscar activamente más datos de sentimientos positivos para equilibrar el conjunto de datos.
  • Actualización de Arquitectura: Explorar arquitecturas avanzadas como Bi-LSTM (LSTM Bidireccional) o modelos híbridos CNN-LSTM para mejorar aún más la extracción de características y la detección de clases minoritarias.

En conclusión, el artículo demuestra exitosamente la utilidad de LSTM para el análisis de sentimientos en indonesio, pero subraya la necesidad crítica de abordar el desequilibrio de datos para garantizar una vigilancia justa y exhaustiva de la opinión pública.