Small, Private Language Models as Teammates for Educational Assessment Design

Resumen Técnico: Modelos de Lenguaje Pequeños y Privados como Compañeros para el Diseño de Evaluaciones Educativas

Enunciado del Problema
Aunque los Modelos de Lenguaje Grandes (LLM) han demostrado capacidad para generar preguntas de evaluación educativa alineadas con marcos pedagógicos como la taxonomía de Bloom, persisten brechas significativas en su evaluación y despliegue. La investigación actual a menudo depende de rúbricas subjetivas, análisis estadísticos limitados o modelos propietarios basados en la nube, lo que genera preocupaciones sobre la reproducibilidad, la fiabilidad y la viabilidad de implementación en el mundo real. Además, las instituciones educativas enfrentan frecuentemente restricciones relacionadas con la privacidad de los datos, los costos y la disponibilidad de recursos, lo que hace problemática la dependencia de APIs externas. Aunque los Modelos de Lenguaje Pequeños (SLM) ofrecen alternativas locales que preservan la privacidad, su efectividad para tareas de diseño de evaluaciones —específicamente en cuanto a validez de contenido, legibilidad y alineación cognitiva— permanece poco explorada. Además, la confiabilidad de utilizar modelos de IA como evaluadores ("modelo como juez") para contenido generado no está bien comprendida, con posibles sesgos e inconsistencias en relación con las calificaciones de expertos humanos.

Metodología
El estudio emplea un flujo de trabajo experimental sistemático y de extremo a extremo para comparar LLMs de vanguardia y SLMs desplegable localmente a través de cuatro Preguntas de Investigación (RQ).

• Datos y Modelos: El estudio utilizó 2.550 preguntas de un conjunto de datos anterior [23] y generó 4.080 preguntas nuevas.
  • LLMs (Vanguardia): GPT-4, GPT-3.5, Palm-2, LLaMA-2, Mistral y Gemini Pro.
  • SLMs (Local/Pesos Abiertos): Granite 4, Phi-4 mini, LLaMA 3.2, Mistral Small 3.2, GPT-OSS, Phi-4, Deepseek R1 y Gemma 3.
  • Configuración: Las temperaturas de generación y evaluación se fijaron en 0.8 y 0.0, respectivamente, para garantizar la comparabilidad directa.
• Estrategia de Prompts: Se utilizaron cinco Estructuras de Prompt (PS), que van desde la generación general de cero disparos (PS1) hasta prompts progresivamente específicos dirigidos a niveles de posgrado y demografías específicas (PS2–PS5), incorporando instrucciones del sistema y señales explícitas para los niveles de la taxonomía de Bloom.
• Métricas de Evaluación: El estudio asoció cada RQ con métricas de PLN objetivas y reproducibles y pruebas estadísticas:
  • RQ1 (Complejidad Cognitiva): Medida mediante el Nivel de Grado Flesch-Kincaid y las puntuaciones de Facilidad de Lectura Flesch para evaluar la complejidad del texto y la alineación con los niveles de grado objetivo.
  • RQ2 (Intención Lingüística): Medida mediante BERTScore (utilizando incrustaciones GTR T5-large) para calcular la similitud semántica entre los prompts y las preguntas generadas, y la consistencia dentro del tema a través de los niveles de Bloom.
  • RQ3 (Cumplimiento Pedagógico): Evaluada mediante una "Verificación de Verbos" para determinar si las preguntas generadas utilizaban verbos de acción consistentes con su nivel de taxonomía de Bloom objetivo.
  • RQ4 (Confiabilidad de la Evaluación): Se evaluó la fiabilidad del "modelo como juez" comparando las salidas del modelo con las anotaciones de expertos humanos para Calidad Alta (HQ) y Ajuste de Habilidades, analizando patrones de acuerdo, sesgo y calibración.

Resultados Clave

• Calidad de Generación (RQ1–RQ3):
  • Complejidad: Tanto los LLMs como los SLMs produjeron preguntas en un nivel de grado base comparable (finales de la escuela secundaria/principios de la universidad, $\mu \approx 14$). Sin embargo, los SLMs demostraron un mayor control y modulación sistemática de la complejidad del lenguaje en respuesta a la especificidad del prompt, mientras que los LLMs mostraron una mayor variabilidad.
  • Intención y Consistencia: Los SLMs mantuvieron una alineación de intención temática más cercana y exhibieron una mayor estabilidad semántica (puntuaciones F1 más altas) a través de las transiciones de nivel de Bloom en comparación con los LLMs, los cuales mostraron más deriva conceptual.
  • Alineación Pedagógica: Ambas familias mostraron un fuerte cumplimiento de verbos cuando los prompts eran explícitos. Sin embargo, los SLMs mantuvieron una alta alineación consistente incluso a través de prompts de menor especificidad, mientras que los LLMs dependieron en gran medida de andamiaje instruccional explícito para mantener la alineación.
• Fiabilidad de la Evaluación (RQ4):
  • Ni los SLMs ni los LLMs replicaron consistentemente el equilibrio de selectividad y conciencia de habilidades encontrado en los expertos humanos.
  • Los juicios basados en modelos exhibieron una variación significativa: algunos modelos fueron excesivamente indulgentes (arriesgando la aceptación de ítems de baja calidad), mientras que otros fueron excesivamente conservadores (arriesgando la eliminación de ítems de alta calidad).
  • Se encontró que la fiabilidad del evaluador dependía del modelo específico que estaba siendo juzgado, con algunos modelos mostrando un acuerdo preferencial con generadores de la misma familia, lo que indica un sesgo sistemático.

Contribuciones Clave

1. Evaluación Comparativa Sistemática: El estudio proporciona la primera comparación sistemática de SLMs y LLMs para la Generación Automatizada de Preguntas Educativas (AEQG), demostrando que los modelos más pequeños y locales pueden lograr una alineación pedagógica y estabilidad competitivas, y en algunos casos superiores, en comparación con los modelos de vanguardia.
2. Métricas Reproducibles: Introduce un marco que utiliza métricas de PLN objetivas y reproducibles (legibilidad, similitud semántica, cumplimiento de verbos) para evaluar la calidad de la generación a través de dimensiones lingüísticas, semánticas y pedagógicas, superando las rúbricas humanas subjetivas.
3. Evaluación del Modelo como Juez: La investigación analiza exhaustivamente los patrones de fiabilidad y sesgo del uso de LM como evaluadores, revelando que, aunque pueden asistir, actualmente carecen de la consistencia requerida para la evaluación autónoma.
4. Perspectivas Conscientes del Despliegue: Los hallazgos destacan la viabilidad de los SLMs para entornos educativos sensibles a la privacidad y con recursos limitados, ofreciendo una vía sostenible para el despliegue en el dispositivo.

Significado y Afirmaciones
El artículo postula que los modelos de lenguaje deben considerarse como asistentes acotados y no como evaluadores autónomos en los flujos de trabajo educativos. Los hallazgos apoyan un marco de "Humano en el Bucle" (HIL) donde los modelos aceleran la ideación y el andamiaje de la construcción de preguntas, pero los expertos humanos retienen la autoridad curatorial para garantizar la integridad pedagógica y la equidad.

Los autores afirman que, aunque los SLMs ofrecen una alternativa prometedora para el despliegue local debido a sus menores demandas computacionales y su adhesión consistente a las restricciones, la confiabilidad de la IA como evaluador independiente sigue sin resolverse. El estudio subraya la necesidad de supervisión humana para mitigar los sesgos inducidos por el modelo y garantizar que las evaluaciones generadas sean accesibles y válidas. En última instancia, el trabajo avanza el campo al examinar las compensaciones entre calidad, fiabilidad y viabilidad de despliegue, sentando las bases para sistemas de GenAI responsables y conscientes del currículo en la educación.