Resumen Técnico: Análisis de Sentimiento Asistido por LLM para Investigación Educativa Mixta Integrada de Métodos Computacionales y Cualitativos

Declaración del Problema

Las asignaciones de reflexión escrita son una herramienta pedagógica vital en la educación de ingeniería, ofreciendo a los estudiantes oportunidades de autoevaluación crítica y proporcionando datos cualitativos ricos para los investigadores. Sin embargo, el análisis de estos conjuntos de datos cualitativos es tradicionalmente intensivo en tiempo, especialmente al intentar comparar hallazgos a través de múltiples variables demográficas (por ejemplo, género, ingresos, experiencia previa de viaje). El análisis cualitativo convencional a menudo limita las comparaciones a una sola variable debido al trabajo involucrado. Si bien los Modelos de Lenguaje Grandes (LLM) han surgido como posibles asistentes de investigación para el análisis de sentimientos y la codificación, su integración en flujos de trabajo mixtos rigurosos y longitudinales, específicamente para datos sensibles de estudiantes, sigue siendo poco explorada. Existe la necesidad de determinar cómo los LLM pueden aumentar eficazmente a los investigadores humanos en la identificación de tendencias de sentimiento a través de múltiples variables de identidad sin comprometer la privacidad de los datos o el rigor analítico.

Metodología

El estudio emplea un diseño de métodos mixtos "cuasi-convergente paralelo", aplicando análisis cuantitativos y cualitativos al mismo conjunto de datos cualitativos (reflexiones de estudiantes). La investigación utiliza un estudio de caso longitudinal de 51 estudiantes universitarios de ingeniería que participaron en un programa de un mes de estudio en el extranjero en Japón.

Recopilación de Datos:

• Conjunto de Datos: 151 reflexiones escritas recopiladas en tres momentos (inicio, medio y final del programa).
• Enfoque: Se extrajeron respuestas que abordaban específicamente el lenguaje verbal y los comportamientos de comunicación.
• Variables: Se analizaron siete variables de identidad/vida estudiantil: experiencia previa viviendo en el extranjero, conocimiento de idiomas extranjeros, padres nacidos en el extranjero, estado de bajos ingresos, asistencia universitaria de primera generación, estatus de estadounidense de primera generación e identidad asiática/estadounidense asiática.

Pipeline de Análisis (Seis Etapas):

1. Procesamiento de Datos y Familiarización: Los investigadores humanos leyeron todas las reflexiones y redactaron memorandos analíticos.
2. Extracción Manual de Citas: Los investigadores aislaron manualmente las citas relacionadas con el lenguaje verbal y la comunicación.
3. Etiquetado Híbrido de Sentimientos:
   • Humano: Un investigador asignó etiquetas de sentimiento iniciales (Positivo, Negativo, Neutral).
   • LLM: Se solicitó a un LLM de código abierto (Llama3 de MetaAI, 8 mil millones de parámetros) que asignara etiquetas de sentimiento a las mismas citas. El modelo se ejecutó localmente mediante Ollama para garantizar la privacidad de los datos y el cumplimiento ético, ya que los participantes no consintieron el intercambio de datos con terceros.
   • Resolución de Discrepancias: El investigador humano revisó las salidas del LLM. Se discutieron las discrepancias y se revisaron las etiquetas humanas si se consideró que la interpretación inicial era inexacta. El LLM no fue re-solicitado.
   • Fiabilidad: La fiabilidad inter-jueces se midió utilizando el kappa de Cohen ($\kappa$).
4. Análisis Cualitativo: Se realizó una codificación temática inductiva en las citas para identificar temas principales (por ejemplo, experiencias previas, preparación, dinámicas lingüísticas, resultados percibidos).
5. Análisis Cuantitativo: Se realizaron pruebas estadísticas (prueba t de Student o prueba de suma de rangos de Wilcoxon, según la normalidad) para comparar las cuentas de sentimiento a través de las siete variables de identidad. Se calcularon tamaños del efecto (d de Cohen o correlación biserial de rango de Glass).
6. Interpretación: Los hallazgos cualitativos se interpretaron en el contexto de los resultados cuantitativos estadísticamente significativos.

Resultados Clave

1. Rendimiento del LLM y Flujo de Trabajo (RQ1):

• Eficiencia: El LLM procesó las citas significativamente más rápido que el investigador humano (aproximadamente 2–3 citas por tiempo de etiquetado humano).
• Fiabilidad: La fiabilidad inter-jueces entre el codificador humano y Llama3 fue "sustancial" en todos los momentos ($\kappa = 0.52$ para la Reflexión 1; $\kappa = 0.64$ para la Reflexión 3; $\kappa = 0.67$ para la Reflexión 4).
• Valor Colaborativo: Las discrepancias entre las etiquetas humanas y del LLM no fueron aleatorias. El LLM a menudo asignó etiquetas afectivas (positivas/negativas) a declaraciones que el codificador humano consideraba neutrales/descriptivas. Estas divergencias provocaron una discusión reflexiva más profunda y el refinamiento de los criterios de codificación, actuando como un "segundo codificador" que profundizó el compromiso interpretativo.
• Limitaciones: El flujo de trabajo requirió una configuración técnica significativa inicial (scripting en Python) y una ingeniería de prompts iterativa. El LLM ocasionalmente generó texto extrínseco o etiquetó incorrectamente las instrucciones del prompt, lo que requirió un post-procesamiento humano.

2. Hallazgos del Estudio de Caso (RQ2):

• Variable Significativa: Entre las siete variables de identidad probadas, la experiencia previa viviendo en el extranjero fue el único factor que mostró diferencias estadísticamente significativas en la expresión de sentimientos en todos los momentos.
• Tendencias Longitudinales:
  • Estudiantes con Experiencia Previa Viviendo en el Extranjero (LA): Expresaron sentimientos más negativos sobre la comunicación en la Reflexión 1 (inicio) en comparación con aquellos sin ella. Lucharon por aprovechar sus habilidades lingüísticas previas en el contexto japonés y se sintieron aprensivos sobre posibles malentendidos. Para la Reflexión 4, sus sentimientos se mantuvieron relativamente estables pero se desplazaron hacia ver las ayudas de comunicación como un "último recurso".
  • Estudiantes sin Experiencia Previa Viviendo en el Extranjero (No-LA): Expresaron sentimientos más negativos en el medio del programa (Reflexión 3) en comparación con los estudiantes LA, impulsados por expectativas desalineadas sobre la facilidad de navegar las barreras lingüísticas y la frustración con los esfuerzos de preparación. Sin embargo, para la Reflexión 4, este grupo mostró un cambio significativo hacia sentimientos positivos, expresando una mayor confianza y reformulando los desafíos de comunicación como oportunidades valiosas de aprendizaje.

Significado y Afirmaciones

El artículo afirma que este flujo de trabajo ofrece un método viable para que los investigadores cualitativos examinen múltiples variables demográficas simultáneamente, una tarea a menudo limitada por las restricciones de tiempo del análisis tradicional.

• Contribución Metodológica: El estudio demuestra que los LLM pueden servir como socios colaborativos efectivos en la investigación cualitativa, específicamente para el etiquetado de sentimientos, siempre que se utilicen en una capacidad de "humano en el bucle". El uso de modelos de código abierto ejecutados localmente aborda preocupaciones éticas críticas sobre la privacidad de los datos y el consentimiento de los participantes.
• Perspectiva Educativa: Los hallazgos destacan que la experiencia internacional previa moldea significativamente cómo los estudiantes perciben y navegan las barreras de comunicación durante los estudios en el extranjero. Los estudiantes sin dicha experiencia experimentan una trayectoria emocional distinta, pasando de la frustración al crecimiento, mientras que los estudiantes experimentados enfrentan desafíos diferentes relacionados con la aplicabilidad de sus habilidades existentes.
• Implicación Práctica: El estudio sugiere que educadores y administradores pueden utilizar estos conocimientos para adaptar el apoyo previo a la partida: alentando a los estudiantes con experiencia previa a reflexionar sobre la transferibilidad intercultural de las habilidades, mientras ayudan a los estudiantes sin dicha experiencia a gestionar expectativas y enfocarse en estrategias de comunicación prácticas en lugar de solo vocabulario.

Los autores mantienen una postura modesta, reconociendo que los tamaños del efecto observados fueron pequeños a medianos, lo que limita la generalización a otros contextos (por ejemplo, programas más largos o programas específicos de inmersión lingüística). Enfatizan que los LLM no reemplazan el análisis cualitativo, pero pueden acelerar la identificación de tendencias para guiar una interpretación humana más profunda.