A Durability and Cross-Language Transfer Benchmark for a Validated Teaching-Feedback Classification Protocol

Resumen Técnico: Un Benchmark de Durabilidad y Transferencia Lingüística para un Protocolo de Clasificación de Retroalimentación Docente Validado

Planteamiento del Problema
Las instituciones educativas acumulan vastas cantidades de retroalimentación abierta de evaluaciones docentes que permanecen sin leer debido a limitaciones de volumen. Si bien el Procesamiento de Lenguaje Natural (NLP) ofrece una vía para recuperar esta señal cualitativa, las instituciones requieren procedimientos analíticos que estén documentados, verificados en su fiabilidad y validados, en lugar de simplemente alcanzar una alta precisión en tablas de clasificación (leaderboards). Un estudio previo estableció un protocolo validado para clasificar la retroalimentación docente en español por categoría temática y sentimiento utilizando un diseño de "codificador congelado" (frozen-encoder) (embeddings de la era BETO, 2019) y clasificadores clásicos. Este artículo aborda dos limitaciones críticas de ese trabajo previo: (1) si un protocolo fijado a métodos de representación de la era 2019 sigue siendo competitivo a medida que avanzan las tecnologías de embeddings y de Modelos de Lenguaje de Gran Escala (LLM), y (2) si el protocolo se transfiere eficazmente a un segundo idioma (inglés).

Metodología
El estudio emplea un enfoque de "benchmark de durabilidad", manteniendo constantes el protocolo de anotación, el procedimiento de validación y las divisiones de evaluación, mientras se varía la arquitectura del modelo subyacente y el idioma.

• Consistencia del Protocolo: El estudio reutiliza la guía de anotación exacta del trabajo previo, definiendo cuatro categorías temáticas (metodología, evaluación, interacción, asistencia/compromiso) y tres clases de sentimiento (positivo, negativo, neutral). La fiabilidad se mide mediante el acuerdo intra-anotador de prueba-retest ($\kappa=0.82$ temático, $0.88$ sentimiento).
• Brazos Experimentales (Español): El protocolo se ejecuta nuevamente sobre el corpus institucional original en español (1,165 comentarios etiquetados, 233 de prueba) a través de tres generaciones de representación:
  1. Lexical Dispersa: Características TF-IDF con clasificadores lineales.
  2. Embeddings de Transformer Congelados: Embeddings de media agregada (mean-pooled) de un BERT en español de la era 2019 (BETO) y un codificador multilingüe moderno (e5-base), alimentando clasificadores clásicos.
  3. LLMs con Prompting: Zero-shot y few-shot prompting de modelos ajustados por instrucciones (Claude Haiku 4.5, Claude Opus 4.8 y el modelo local Qwen2.5-1.5B).
• Transferencia de Lenguaje Cruzado (Inglés): La tarea de sentimiento se transfiere al inglés utilizando un corpus nuevo y equilibrado de 45,000 comentarios extraídos de reseñas de RateMyProfessor. Las etiquetas de sentimiento se derivan de las calificaciones de estrellas (4+ = positivo, $\le$2 = negativo) y se validan contra datos etiquetados por humanos de EduRABSA (Cohen's $\kappa=0.66$). La transferencia temática se limita a un mapeo de categorías documentado hacia entidades de EduRABSA, no a una tarea de clasificación completa.
• Métricas de Evaluación: Se reportan los puntajes F1 ponderados y macro como métricas primarias. Las comparaciones se tratan como evidencia descriptiva en lugar de pruebas de significancia estadística (se utiliza la prueba de McNemar de forma descriptiva). También se reportan el costo, la latencia y la auditabilidad (vía LIME).

Contribuciones Clave

1. Benchmark de Durabilidad: Una reevaluación de un protocolo de retroalimentación docente validado a través de tres generaciones de representación de NLP (dispersa, embeddings congelados, LLMs), demostrando que el protocolo en sí es la variable estable mientras que el rendimiento del modelo varía.
2. Evaluación de Transferencia de Lenguaje Cruzado: Una transferencia de la tarea de clasificación de sentimiento al inglés con un límite de reclamo explícito, utilizando un corpus equilibrado y reproducible y una regla de etiquetado de estrellas-a-sentimiento documentada y validada contra anotaciones humanas.
3. Corpus de Inglés Reproducible: La publicación de una receta de construcción (script, semilla, índices de división) para un conjunto de datos de sentimiento en inglés equilibrado de 45,000 comentarios, lo que permite la reproducción exacta sin redistribuir el texto protegido por derechos de autor subyacente.

Resultados

• Durabilidad en Español:
  • Clasificación Temática: Los LLM (Opus 4.8 y Haiku 4.5) alcanzaron los puntajes F1 ponderados más altos (aprox. 0.87–0.88), superando significativamente a los embeddings congelados (aprox. 0.74) y al TF-IDF (0.60) en el conjunto de prueba. La mejora fue más pronunciada en las clases temáticas raras (ej. asistencia/compromiso).
  • Clasificación de Sentimiento: El modelo de frontera de 2026 (Opus la 4.8) no mostró ventaja de precisión sobre el modelo más económico (Haiku 4.5) en la tarea de sentimiento (Haiku zero-shot: 0.923 vs. Opus zero-shot: 0.884). Ambos superaron a los embeddings congelados, pero el patrón de "paridad ante el costo" sugiere que el techo de la tarea es alcanzado por modelos más económicos.
  • Costo vs. Rendimiento: El diseño de codificador congelado (BETO y e5) se mantuvo competitivo en precisión, ofreciendo simultáneamente costos de inferencia significativamente menores y una mayor auditabilidad en comparación con los LLM.
• Transferencia al Inglés:
  • Sentimiento: El codificador multilingüe congelado moderno (e5) fue el brazo más fuerte en el conjunto de prueba completo (wF1 0.729). Los LLM igualaron este rendimiento solo con few-shot prompting; el rendimiento zero-shot fue inferior (aprox. 0.67).
  • Ruido de Etiquetas: El techo para el rendimiento en inglés estuvo limitado por el ruido en las etiquetas derivadas de estrellas (acuerdo con etiquetas humanas $\kappa=0.66$), lo que impidió que los modelos excedieran este nivel de acuerdo.
  • Transferencia Temática: El estudio no pretendió presentar un clasificador temático resuelto para el inglés; en su lugar, proporcionó un alineamiento documentado entre las categorías en español y los tipos de entidades en inglés (Curso, Personal).

Significancia y Reclamos
El artículo argumenta que el protocolo es duradero, no el modelo específico. La contribución del trabajo previo —la guía de anotación documentada, la medición de fiabilidad y el diseño de validación— sigue siendo válida y efectiva incluso cuando los métodos de representación subyacentes evolucionan de embeddings de la era 2019 a los LLM de frontera de 2026.

• La elección del modelo es una decisión de despliegue: La elección entre un codificador congelado barato y auditable o un LLM de alto costo no es una cuestión de superioridad metodológica, sino de restricciones institucionales (costo, latencia, auditabilidad).
• Sin ganancia universal de frontera: Para la tarea de sentimiento, los modelos más avanzados no proporcionaron una ventaja descriptiva de precisión sobre las alternativas más económicas, lo que sugiere que, para tareas específicas y bien definidas, la capacidad de "frontera" puede no ser necesaria.
• Auditabilidad: El estudio enfatiza que, si bien los LLM pueden ganar en precisión bruta para la clasificación temática, su naturaleza "ligada al prompt" reduce la auditabilidad en comparación con los pesos dispersos inspeccionables o los modelos clásicos explicados por LIME.

Los autores declaran explícitamente que el procedimiento (el protocolo) es lo que las instituciones deben mantener, mientras que el modelo que lo ejecuta debajo es una variable de despliegue. El documento no pretende resolver auditorías de equidad o análisis de subgrupos demográficos, ni afirma que los resultados en inglés sean directamente comparables con los resultados del estándar de oro en español debido a las diferencias en la calidad de las etiquetas (derivadas de estrellas vs. etiquetadas por humanos).