Self-hosted Lecture-to-Quiz: Local LLM MCQ Generation with Deterministic Quality Control

Este artículo presenta una tubería autoalojada y sin APIs que convierte PDFs de conferencias en bancos de preguntas de opción múltiple mediante un modelo de lenguaje local y un control de calidad determinista, garantizando la privacidad y la trazabilidad de los resultados educativos.

Lo esencial

Imagina que eres un profesor que tiene un montón de apuntes de clase en PDF (sus "libros de texto") y necesita crear un examen de opción múltiple para sus estudiantes. Normalmente, para hacer esto rápido, uno podría subir esos apuntes a una inteligencia artificial en la nube (como un chatbot gigante) y pedirle: "Hazme 20 preguntas".

El problema:

1. Privacidad: Si tus apuntes son secretos o de una empresa, no quieres subirlos a internet.
2. Fiabilidad: Las IAs a veces se confunden, ponen dos respuestas correctas, o inventan cosas que no están en el libro.
3. Dependencia: Si el examen se hace con la IA, cada vez que un alumno lo hace, la escuela tiene que pagarle a la IA. Eso es caro y lento.

La solución de este paper (L2Q):
El autor, Seine Shintani, propone una máquina de cocina local llamada L2Q. En lugar de pedirle a un chef famoso (la IA en la nube) que cocine el plato entero, tú tienes tu propia cocina (tu computadora) y un ayudante de cocina (una IA pequeña que vive en tu computadora).

Aquí te explico cómo funciona, paso a paso, con analogías sencillas:

1. La Cocina Local (Sin salir de casa)

En lugar de enviar tus recetas (los PDFs) a un restaurante gigante en internet, usas tu propia cocina. La IA vive en tu ordenador. Nadie fuera ve tus apuntes. Es como si cocinaras en tu casa en lugar de pedir comida a domicilio; mantienes la privacidad de tus ingredientes.

2. El Ayudante con Gafas de Seguridad (Control de Calidad Determinista)

Aquí está la parte genial. La IA (el ayudante) es buena escribiendo borradores, pero a veces es un poco "sueñadora" y comete errores tontos, como poner dos respuestas que significan lo mismo (ej: "2+2" y "4" como opciones distintas).

El sistema L2Q tiene un Inspector de Seguridad muy estricto que revisa cada pregunta antes de que salga de la cocina. Este inspector no es una IA, es un programa de reglas fijas (como un robot muy literal):

• El Inspector de Formato: "¿Tienes 5 opciones? ¿Solo una es la correcta? ¿Está todo en el formato correcto?" Si no, ¡desecha la pregunta y pídele al ayudante que la reescriba!
• El Inspector de Matemáticas: "¿La opción A y la opción C son en realidad el mismo número?" Si la IA puso "0.5" y "1/2" como opciones diferentes, el inspector lo detecta y dice: "¡Error! Reescribe una".
• El Inspector de Redondeo: "¿Pusiste un número decimal como 0.881 pero no dijiste a cuántos decimales redondear?" El inspector lo marca en amarillo para que un humano lo revise.

3. El Resultado: Un Examen de Papel, no de Magia

Al final del proceso, no tienes un "chatbot" que genera preguntas al vuelo. Tienes un archivo estático (una lista de preguntas en un archivo de texto).

• La analogía: Imagina que en lugar de tener un mago que saca cartas de la nada cada vez que alguien pide un juego, tienes un mazo de cartas impreso y revisado.
• Ventaja: Cuando los estudiantes hagan el examen en Google Forms, no necesitan internet ni pagarle a la IA. El examen ya está listo, impreso y listo para usar. Es rápido, barato y seguro.

¿Qué lograron en este experimento?

El autor probó esto con tres temas científicos (entropía, termodinámica, etc.) y generó 120 preguntas.

• Éxito: El 100% de las preguntas pasaron la prueba de "no tener errores graves" (como dos respuestas correctas).
• Alertas: El sistema detectó 8 preguntas que tenían pequeños problemas (como falta de instrucciones de redondeo) y las marcó para que un humano las arreglara.
• Conclusión: Crearon un sistema donde la IA hace el trabajo sucio de redactar, pero un sistema de reglas estrictas y un humano revisan el trabajo final para asegurar que sea perfecto.

En resumen: "Minimizar la Caja Negra"

El paper habla de "minimizar la caja negra". Imagina que la IA es una caja negra mágica. Normalmente, confiamos ciegamente en lo que sale de ella. Este sistema dice: "Usaremos la caja negra para hacer el borrador, pero luego la abriremos, revisaremos cada pieza con reglas matemáticas y sacaremos un producto final que ya no necesita de la magia para funcionar".

Es una forma de usar la Inteligencia Artificial para ayudar a los profesores, manteniendo el control, la privacidad y asegurando que el examen final sea justo y correcto, sin depender de servicios costosos en la nube cada vez que un alumno quiera estudiar.

Resumen técnico

Resumen Técnico: Generación de Cuestionarios de Auto-alojamiento con Control de Calidad Determinista

1. El Problema

La generación automática de preguntas de opción múltiple (MCQ) a partir de material educativo (como PDFs de conferencias) presenta desafíos críticos cuando se utilizan Grandes Modelos de Lenguaje (LLM) tradicionales basados en la nube:

• Privacidad y Propiedad: Enviar contenido de conferencias propietario a servicios externos de LLM viola políticas de confidencialidad y derechos de autor.
• Caja Negra y Auditoría: Los flujos de trabajo "prompt-and-publish" carecen de trazabilidad. La corrección de las preguntas generadas no es auditable y los modelos pueden introducir errores estructurales (ej. múltiples respuestas correctas, opciones duplicadas o distractores numéricamente equivalentes).
• Dependencia de Infraestructura: El uso continuo de LLMs durante la fase de aprendizaje (evaluación) es costoso en energía y tiempo, y crea una dependencia de servicios externos.

El objetivo del trabajo es desarrollar un pipeline auto-alojado (API-free) que convierta PDFs de conferencias en bancos de preguntas sin transmitir datos a servicios externos, garantizando la calidad mediante verificaciones deterministas.

2. Metodología: El Pipeline L2Q

El autor propone L2Q (Self-hosted Lecture-to-Quiz), un sistema diseñado para minimizar la "caja negra". El pipeline opera en un bucle determinista externo alrededor de un modelo generativo local y consta de cinco etapas:

1. Ingesta y Segmentación: Extracción de texto de los PDFs de la conferencia y división en fragmentos coherentes con referencias a páginas.
2. Planificación de Temas: Generación de un plan breve de temas (definiciones clave, propiedades) para asegurar la cobertura y reducir redundancia.
3. Borrador de MCQ: El modelo local genera preguntas con 5 opciones (A-E), una única respuesta correcta y una explicación breve.
   • Restricción: Se utiliza decodificación restringida (mediante llama.cpp y gramáticas) para forzar una salida estricta en JSON.
4. Control de Calidad (QC) Determinista y Reintentos:
   • Se aplican dos niveles de verificación:
     • Restricciones Duras (Hard QC): Si fallan, se rechaza el ítem y se re-intenta (hasta 3 veces). Incluyen: cumplimiento de esquema JSON, estructura de una sola respuesta correcta, detección de duplicados exactos o casi exactos (similitud > 0.92), y pruebas de equivalencia numérica/constante (tolerancia $10^{-9}$ y pruebas aleatorias para expresiones paramétricas).
     • Alertas de Advertencia (Warning QC): Se aceptan pero se registran para revisión humana. Incluyen: falta de instrucciones de redondeo en respuestas numéricas o distractores constantes duplicados.
5. Exportación: Generación de archivos estáticos (JSONL/CSV) listos para importación en sistemas de gestión de aprendizaje (LMS) o Google Forms. Importante: En la fase de despliegue, los estudiantes no necesitan acceso a ningún LLM.

Configuración Experimental:

• Modelo: Qwen2.5-14B-Instruct (cuantizado Q4_K_M) ejecutado localmente vía llama.cpp.
• Hardware: Google Colab Pro+ (NVIDIA A100) para la prueba, aunque el sistema es agnóstico a la plataforma.
• Datos: Tres "conferencias dummy" sobre entropía (Teoría de la Información, Termodinámica, Mecánica Estadística).
• Protocolo: 15 ejecuciones (3 conferencias × 5 semillas aleatorias), objetivo de 8 preguntas por ejecución.

3. Contribuciones Clave

• Pipeline Auto-alojado (API-free): Un flujo de trabajo completo que evita el envío de contenido educativo a la nube, preservando la privacidad de los datos.
• Minimización de la Caja Negra: Aunque el borrador inicial usa un LLM opaco, el producto final es un artefacto estático, auditable y sin dependencia de modelos durante la evaluación.
• Verificación Determinista: Integración de pruebas de equivalencia numérica y detección de duplicados que eliminan fallos estructurales comunes en la generación automática.
• Marco de Evaluación AI2L: Posicionamiento del trabajo bajo las directrices "AI to Learn" (AI2L), demostrando cómo se pueden cumplir los pilares de privacidad, responsabilidad (auditoría humana) y AI Verde (reducción de llamadas repetidas a modelos grandes).
• Reproducibilidad: Liberación de código, prompts, configuraciones y los 24 ítems finales curados en formatos estándar.

4. Resultados

El estudio se basó en 15 ejecuciones (120 preguntas objetivo):

• Estabilidad y Costo: Se generaron 120 preguntas aceptadas con solo 2 reintentos adicionales (tasa de reintento del 1.6%). El tiempo promedio por pregunta fue de ~7.3 segundos.
• Calidad Estructural: El 100% de las preguntas aceptadas (120/120) pasaron las verificaciones duras (esquema JSON válido, única respuesta correcta, sin duplicados).
• Detección de Riesgos: El sistema de advertencias identificó 8/120 ítems (6.7%) con riesgos residuales, principalmente:
  • Falta de instrucciones de redondeo en respuestas decimales.
  • Distractores numéricos duplicados (ej. $log_2(0.25)$ y $2 \cdot log_2(0.5)$ que evalúan al mismo valor).
• Producto Final: Se curó un conjunto de 24 preguntas (8 por conferencia) sin advertencias, exportadas en JSONL/CSV para su uso inmediato en plataformas educativas.

5. Significado y Discusión

El trabajo demuestra que es posible automatizar la creación de evaluaciones educativas de alta calidad sin sacrificar la privacidad ni la transparencia, siempre que se combine la generación con verificación determinista.

• Minimización de la Caja Negra: El enfoque transforma un proceso dependiente de un modelo opaco en un producto final estático y editable. El LLM se usa solo para el borrador, no para la ejecución final.
• Alineación con AI2L:
  • Privacidad: Cumplida al ejecutarse localmente.
  • Responsabilidad: Cumplida mediante registros de QC y revisión humana de las advertencias.
  • AI Verde: Cumplida al eliminar la necesidad de llamadas a LLMs durante la sesión de examen del estudiante.
  • Transparencia: Parcialmente cumplida; el modelo de borrador sigue siendo una caja negra, pero el resultado es transparente.
• Limitaciones:
  • El QC no garantiza la validez pedagógica (dificultad, alineación curricular) ni la corrección semántica profunda.
  • La verificación matemática es parcial (no es un demostrador simbólico completo) y puede fallar en expresiones algebraicas complejas o documentos con muchas imágenes/tablas.
  • El sistema depende de la calidad de la extracción de texto de PDFs (OCR no robusto).

Conclusión: L2Q ofrece un marco viable para instituciones educativas que desean adoptar la IA generativa manteniendo el control de sus datos y asegurando la integridad de sus evaluaciones, reduciendo la dependencia de servicios externos y fomentando un flujo de trabajo educativo más seguro y sostenible.