Stan: An LLM-based thermodynamics course assistant

El artículo presenta a "Stan", un asistente de curso de termodinámica impulsado por modelos de lenguaje de código abierto y ejecutado localmente para ofrecer respuestas fundamentadas a estudiantes y análisis estructurados a instructores, garantizando privacidad de datos y costos predecibles mientras aborda desafíos técnicos en la extracción de información de transcripciones largas.

Lo esencial

Imagina que la clase de termodinámica es como un viaje en tren muy rápido y complejo. El profesor es el maquinista, los estudiantes son los pasajeros y el libro de texto es el mapa oficial. Pero, a veces, el tren va tan rápido que los pasajeros se pierden, el maquinista olvida explicar por qué tomó cierto desvío, y nadie sabe exactamente en qué estación se habló de un tema importante.

"Stan" es el sistema de inteligencia artificial que los autores crearon para arreglar este caos. No es un robot que hace la tarea por ti, sino más bien un asistente personal superorganizado que vive dentro de la computadora de la universidad, sin necesidad de internet.

Aquí te explico cómo funciona Stan usando analogías sencillas:

1. Dos caras de la misma moneda

Stan tiene dos "personalidades" o modos de trabajo, dependiendo de quién lo use:

• Para el estudiante (El Bibliotecario Mágico):
  Imagina que tienes una pregunta sobre "fugacidad" (un concepto difícil de química). En lugar de que Stan invente una respuesta al azar (lo cual sería peligroso en ciencias), actúa como un bibliotecario extremadamente rápido.

  • Toma tu pregunta.
  • Busca en el "índice" del libro de texto y en las grabaciones de las clases.
  • Te dice: "Esa explicación está en la página 314 del capítulo 7, y el profesor lo mencionó en la clase del martes a las 10:00 AM".
  • La clave: No alucina. Solo te da la información que realmente existe en el libro o en la grabación, como si te pasara las páginas exactas del mapa.

• Para el profesor (El Detective de la Clase):
  Para el profesor, Stan actúa como un espejo mágico que graba todo lo que sucede en el aula y luego lo analiza.

  • ¿Qué preguntas hicieron los alumnos? Stan resume: "El martes, 15 alumnos se confundieron con la diferencia entre trabajo y calor".
  • ¿Qué analogías usó el profesor? Stan crea un archivo: "El profesor usó una analogía sobre cubos de metal para explicar el equilibrio térmico".
  • ¿Dónde se perdió el hilo? Marca los momentos exactos donde los alumnos parecían perdidos, para que el profesor sepa qué repasar la próxima vez.

2. El secreto: Todo ocurre en casa (Localmente)

La mayoría de las inteligencias artificiales hoy en día viven en "la nube" (en servidores gigantes de empresas como Google o Microsoft). Eso cuesta dinero por cada pregunta y preocupa por la privacidad de los datos.

Stan es diferente. Es como tener un chef personal en tu propia cocina en lugar de pedir comida a domicilio.

• Privacidad total: Nadie fuera de la universidad ve lo que se pregunta o se enseña.
• Sin costos ocultos: No se paga por cada pregunta. Una vez que tienes la computadora (el "chef"), puedes cocinar todo lo que quieras.
• Funciona sin internet: Si se va la luz o el internet, Stan sigue funcionando en la computadora de la universidad.

3. Los obstáculos y cómo los solucionaron (El viaje no fue perfecto)

Crear a Stan fue como intentar enseñar a un robot a entender un idioma técnico muy difícil. Se encontraron con varios problemas divertidos:

• El problema de la "alucinación": A veces, los robots de IA inventan cosas que suenan bien pero son falsas. En termodinámica, inventar una fórmula es catastrófico.
  • La solución: Le dieron a Stan una regla estricta: "Solo puedes hablar si tienes el libro abierto frente a ti". Si no está en el libro o en la grabación, no lo dice.
• El problema del "olvido": Las clases son largas (como leer un libro entero de una sentada). La memoria de la IA se llenaba y olvidaba el principio de la clase.
  • La solución: Le enseñaron a dividir la clase en trozos pequeños y a usar un sistema de "dos pasos": primero lee todo, luego responde.
• El problema de los términos raros: La IA confundía palabras técnicas. Por ejemplo, escuchaba "fugacidad" y la escribía como "GASB" (como si fuera un error de tipeo).
  • La solución: El profesor le dio una "lista de palabras prohibidas" (un glosario) para que la IA supiera exactamente cómo pronunciar y escribir los términos de ingeniería química.

En resumen

Stan no es un sustituto del profesor ni un truco para que los estudiantes no estudien. Es una herramienta de organización y reflexión.

• Para el estudiante, es como tener un mapa del tesoro que te dice exactamente dónde buscar la respuesta en el libro y en la clase.
• Para el profesor, es como tener un asistente que toma notas perfectas, identifica dónde la clase funcionó bien y dónde falló, y le ayuda a mejorar su enseñanza para el siguiente año.

Es un ejemplo de cómo la tecnología puede usarse no para reemplazar al humano, sino para darle superpoderes de organización y claridad, manteniendo todo seguro y privado dentro de la universidad.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Stan: An LLM-based thermodynamics course assistant", traducido y adaptado al español:

Resumen Técnico: Stan, un Asistente de Curso de Termodinámica Basado en LLM

1. El Problema

El discurso actual sobre la Inteligencia Artificial (IA) en la educación se centra predominantemente en herramientas para estudiantes (chatbots, tutores, generadores de problemas), dejando casi inexplorado el potencial de la misma infraestructura para apoyar a los instructores. Además, la implementación de modelos de lenguaje grandes (LLM) en entornos académicos enfrenta desafíos críticos:

• Alucinaciones: En materias de precisión como la termodinámica, las respuestas incorrectas pero convincentes son inaceptables.
• Privacidad y Costos: El uso de APIs en la nube plantea riesgos de fuga de datos y costos impredecibles.
• Falta de Contexto: Las herramientas existentes a menudo carecen de una integración profunda con el material del curso específico (transcripciones de clases y libros de texto estructurados).

2. Metodología y Arquitectura del Sistema

El sistema Stan es una suite de herramientas diseñada para un curso de grado de Termodinámica de Ingeniería Química. Su característica distintiva es que todas las componentes se ejecutan en hardware local, sin depender de APIs externas, utilizando modelos de pesos abiertos (Open-weights).

• Infraestructura de Hardware:

  • Estación de trabajo GPU (Procesamiento por lotes): Utiliza una NVIDIA RTX 4090 (24 GB VRAM) para tareas intensivas como la transcripción de audio y el análisis de corpus completos.
  • Laptop de Consumo (Interacción): Ejecuta la pipeline de recuperación y generación (RAG) para consultas interactivas utilizando modelos de 7-8 mil millones de parámetros (ej. Llama 3.1 8B) a través de Ollama.

• Pipeline de Datos y Procesamiento:

  1. Transcripción de Audio: Se utiliza el modelo Whisper large-v3 (precisión float16) para transcribir las grabaciones de las clases.
     • Mejora de Vocabulario: Se implementó un "prompting" con vocabulario específico del dominio (ej. "fugacidad", "ecuación de Peng-Robinson") para corregir errores comunes de reconocimiento en términos técnicos.
     • Mitigación de Alucinaciones: Se aplicó una estrategia de tres capas: penalización de repetición a nivel de decodificador, aislamiento de contexto (desactivando la condición de texto previo) y un paso de post-procesamiento determinista para eliminar bucles de repetición.
  2. Índice Estructurado: En lugar de usar solo similitud vectorial, el sistema utiliza un índice jerárquico extraído del libro de texto (JSON con ~1,500 entradas) y un árbol de navegación del índice de contenidos. Esto permite búsquedas precisas basadas en términos técnicos.

• Doble Enfoque de Interfaz:

  • Lado del Estudiante (Consulta de Libro de Texto): Utiliza un pipeline de Generación Aumentada por Recuperación (RAG).
    • Extracción Dual: Combina una extracción basada en Expresiones Regulares (Regex) para términos definidos y un LLM local para expansión de consultas (ej. convertir "¿Qué es la entropía?" en términos relacionados como "generación de entropía").
    • Fusión de Resultados: Se utiliza una estrategia de "máxima puntuación" para fusionar los resultados de ambos extractores, garantizando que los hallazgos válidos no se pierdan.
    • Respuesta Aterrizada: El LLM genera respuestas basadas estrictamente en los fragmentos recuperados del índice y las transcripciones, prohibiendo la invención de números de capítulo o páginas.
  • Lado del Instructor (Análisis de Clases): Procesa las transcripciones completas para generar:
    • Resúmenes estructurados por clase.
    • Identificación de preguntas de estudiantes e instructores.
    • Detección de momentos de confusión.
    • Catálogo de anécdotas y analogías pedagógicas.
    • Arquitectura de Dos Pasos: Para evitar la "bimodalidad" en la extracción de preguntas (donde el modelo o genera muy pocas o demasiadas), se implementó un proceso de dos etapas: extracción bruta seguida de filtrado y clasificación.

3. Resultados Clave

• Calidad de Transcripción: El uso de prompts de vocabulario mejoró drásticamente el reconocimiento de términos técnicos (ej. "fugacidad" reconocida correctamente en lugar de "GASB"). La tasa de alucinaciones por bucle de repetición se redujo del 6.4% en la línea base a 0.02% en todo el corpus de 39 clases.
• Rendimiento de Extracción:
  • El sistema logró procesar 35 horas de audio en menos de 45 minutos.
  • La arquitectura de dos pasos para el análisis de preguntas eliminó la distribución bimodal, logrando una extracción suave y significativa (promedio de 8.8 preguntas por clase, rango 2-15).
  • Se identificaron con éxito patrones de confusión y analogías pedagógicas que de otro modo permanecerían ocultas en el volumen de datos.
• Privacidad y Costos: Al ejecutarse localmente, el sistema garantiza la privacidad total de los datos de los estudiantes y elimina los costos recurrentes de API, con una inversión inicial de hardware comparable a un año de costos de API en la nube.

4. Contribuciones Principales

1. Enfoque Dual (Estudiante-Instructor): Demuestra que la misma infraestructura de datos puede servir simultáneamente como recurso de aprendizaje para estudiantes y como herramienta analítica para la mejora docente, un aspecto subrepresentado en la literatura actual.
2. Arquitectura Local y Reproducible: Proporciona una implementación completa y reproducible que funciona sin conexión a internet, utilizando modelos de código abierto (Llama, Whisper), lo que democratiza el acceso a herramientas de IA avanzadas en entornos académicos.
3. Mitigación de Fallos en Modelos Pequeños: Documenta y resuelve fallos sistemáticos al ejecutar modelos de 7-8B parámetros en tareas de extracción estructurada sobre textos largos (truncamiento de contexto, eco de marcadores, deriva de esquema, distribución bimodal), ofreciendo soluciones prácticas como la arquitectura de dos pasos y la validación de esquemas.
4. Integración de Dominio: Muestra cómo la experiencia del instructor (vocabulario técnico) puede integrarse directamente en el pipeline de IA para mejorar la precisión, superando las limitaciones de los modelos generales.

5. Significado e Impacto

El trabajo de Stan representa un cambio de paradigma en la aplicación de la IA en la educación de ingeniería:

• Más allá de la automatización: No busca reemplazar al instructor ni automatizar la calificación, sino extender la capacidad instruccional mediante el análisis y la reflexión sobre el contenido ya generado.
• Equidad y Soberanía de Datos: Al evitar la dependencia de proveedores de nube, las instituciones mantienen el control sobre sus datos educativos y los costos, evitando modelos de precios por consulta.
• Pedagogía Refinada: Al proporcionar a los instructores un registro buscable y analítico de sus clases (dónde hubo confusión, qué analogías funcionaron), se fomenta una mejora continua y basada en evidencia del curso.
• Escalabilidad: Aunque actualmente se centra en la termodinámica, la arquitectura modular (biblioteca Python) está diseñada para expandirse a todo el currículo de ingeniería química, integrando solvers computacionales interactivos en el futuro.

En conclusión, Stan demuestra que es posible construir sistemas de IA educativos rigurosos, privados y efectivos utilizando hardware accesible y modelos de código abierto, transformando las grabaciones de clases pasivas en activos de datos dinámicos para el aprendizaje y la enseñanza.