Policy-Governed LLM Routing with Intent Matching for Instrument Laboratories

A continuación se presenta un resumen técnico detallado del artículo "Enrutamiento de LLM gobernado por políticas con coincidencia de intención para laboratorios de instrumentación".

1. Planteamiento del Problema

La integración de Modelos de Lenguaje Grande (LLM) como tutores en laboratorios de instrumentación de ingeniería presenta una tensión crítica: proporcionar asistencia suficiente para facilitar el aprendizaje, evitando al mismo tiempo un andamiaje excesivo que induzca dependencia en el estudiante. Los sistemas actuales de tutoría con LLM adolecen de tres limitaciones principales:

• Falta de Control: Los instructores tienen una capacidad limitada para dictar cuándo se permite la ayuda de alto andamiaje (por ejemplo, soluciones completas), qué transformaciones se aplican a las consultas o cómo se acotan los costos.
• Brecha entre Pedagogía y Operaciones: Los sistemas de enrutamiento existentes optimizan el costo o la calidad de la respuesta, pero ignoran las políticas pedagógicas definidas por el instructor (por ejemplo, "permitir solo orientación conceptual a menos que se apruebe").
• Auditabilidad: Existe una falta de mecanismos transparentes para rastrear las decisiones de enrutamiento, las modificaciones de las consultas y el uso del presupuesto en entornos de laboratorio en tiempo real.

El artículo aborda la brecha en la evidencia de sistemas para combinar el enrutamiento multi-modelo consciente del costo con políticas de andamiaje gobernadas por el instructor e intervenciones de consultas auditables, específicamente para laboratorios instrumentados.

2. Metodología y Arquitectura del Sistema

Los autores proponen un sistema de dos componentes integrado en la plataforma de laboratorio remoto de electrónica LABIIUM:

A. Componentes del Sistema

1. Routiium (La Pasarela):

   • Una pasarela compatible con OpenAI que actúa como interfaz frontal para múltiples backends de LLM (locales y en la nube).
   • Funciones: Autentica clientes, aplica superposiciones de consultas configurables (modificaciones a consultas/respuestas basadas en políticas) y registra el uso por turno (tokens, costo, modelo).
   • Privacidad: Mantiene las consultas de los estudiantes dentro de la red del campus cuando se enrutan a modelos locales.

2. EduRouter (El Motor de Decisión):

   • Un servicio de enrutamiento consciente de políticas que selecciona el backend para cada consulta.
   • Flujo de trabajo:
     1. Coincidencia de Intención: Calcula la similitud de incrustaciones (embedding) entre la consulta del estudiante y una Biblioteca de Preguntas Canónicas curada por el instructor.
     2. Aplicación de Políticas: Verifica los límites del presupuesto, los flujos de trabajo de aprobación y las restricciones de nivel de pista (L0–L3).
     3. Decisión de Enrutamiento: Selecciona el modelo según los metadatos de la biblioteca (nivel preferido, costo máximo) y la "adhesividad" (mantener el contexto conversacional en el mismo modelo).
     4. Respuesta de Respaldo: Si ninguna coincidencia de la biblioteca supera un umbral, recurre a un enrutamiento heurístico basado en la complejidad de la consulta.

B. Mecanismos de Gobernanza

El sistema define Niveles de Pista y Modos de Política específicos:

• Niveles de Pista (L0–L3): Desde validación mínima (L0) hasta soluciones completas (L3). Los niveles superiores (L2/L3) activan descuentos presupuestarios o aprobaciones de Asistentes de Enseñanza (TA).
• Modos de Política:
  • P0 (No gobernado): Sin límites, superposiciones desactivadas.
  • P1 (Gobernado): Límites de gasto y topes de pista aplicados.
  • P2 (Enfoque en integridad): Colas de aprobación estrictas y enclavamiento de indicadores de integridad.

C. Metodología de Evaluación

El sistema se evaluó utilizando dos enfoques:

1. Simulación Basada en Trazas: Un simulador calibrado con datos de dos laboratorios de electrónica (caracterización de LED, análisis de circuitos RC) para probar el cumplimiento de políticas bajo cargas de trabajo sintéticas (416 configuraciones).
2. Reproducción de Consultas en Vivo: Una carga de trabajo de 100 consultas reproducida a través de puntos finales de modelos en vivo para medir el costo real, la latencia y la corrección del enrutamiento.

3. Contribuciones Clave

• Routiium: Una pasarela de código abierto compatible con OpenAI que permite superposiciones de consultas configurables y registro de auditoría por turno.
• EduRouter: Un servicio de enrutamiento que integra la coincidencia de intención basada en incrustaciones con una aplicación estricta de políticas (presupuestos, aprobaciones).
• Métricas de Gobernanza: Un conjunto novedoso de métricas de comportamiento (no de resultados educativos) para caracterizar la alineación del sistema con las políticas del instructor:
  • Índice de Alineación de Desafío (CAI): Acuerdo entre las distribuciones de pistas observadas y objetivo.
  • Ventana de Lucha Productiva (PSW): Turnos antes de que aparezcan pistas de alto andamiaje.
  • Puntuación de Adherencia a Superposiciones (OAS): Verificación de las modificaciones de las consultas.
  • Tasa de Aciertos Canónicos (CHR) y Ganancia de Enrutamiento (CRG): Eficiencia del enrutamiento basado en intención.
• Lanzamiento Abierto: Liberación completa del código fuente, configuraciones del simulador y herramientas de evaluación.

4. Resultados

Resultados de Simulación (Cumplimiento de Políticas)

• Alineación de Desafío: Las políticas gobernadas (P1/P2) aumentaron el CAI de 0.90 (no gobernado) a 0.98, indicando una adherencia casi perfecta a las distribuciones de pistas objetivo.
• Adherencia a Superposiciones: La OAS mejoró de 0.69 a 0.87 bajo políticas gobernadas.
• Lucha Productiva: La métrica PSW aumentó de 1.4 a 3.6 turnos, lo que significa que los estudiantes recibieron más tiempo para luchar antes de recibir pistas de alto andamiaje.
• Equidad: El Índice de Equidad (EI) disminuyó ligeramente (de 0.59 a 0.52), lo que indica que los límites presupuestarios concentraron las pistas L3 en menos estudiantes, una compensación que los instructores deben gestionar.

Resultados de Reproducción en Vivo (Costo y Latencia)

• Reducción de Costos: EduRouter enrutó el 75% de las consultas a un modelo local (gpt-oss-20b), reduciendo los costos totales de tokens en un 66% ($0.087 frente a $0.26 para un enrutamiento todo premium).
• Latencia:
  • Nube Directa (GPT-5 Mini): 23.2 s de latencia promedio.
  • Modelo Local: 26.1 s de latencia promedio.
  • Ejecución Enrutada: 21.7 s de latencia promedio (debido a la selección inteligente), con un Tiempo hasta el Primer Token (TTFT) de 305 ms (incluyendo sobrecarga de enrutamiento).
• Corrección de Enrutamiento:
  • Consultas Fáciles/Moderadas: 96% / 89% de corrección.
  • Consultas Avanzadas: 68% de corrección (atribuido a una cobertura canónica incompleta para la resolución de problemas a nivel de posgrado).
• Rendimiento Canónico: En el banco de preguntas curado de 89 intenciones, la Tasa de Aciertos Canónicos (CHR) fue de 1.0, demostrando una coincidencia perfecta para intenciones conocidas.

5. Significancia y Limitaciones

Significancia:

• Artefacto de Sistemas: El artículo proporciona un marco concreto e implementable para la "IA gobernada" en educación, desplazando el enfoque de "¿pueden los LLM enseñar?" a "¿cómo podemos controlar cómo enseñan los LLM?".
• Eficiencia de Costos: Demuestra que el enrutamiento basado en incrustaciones puede reducir significativamente los costos sin sacrificar la capacidad de manejar consultas estándar de laboratorio.
• Auditabilidad: Resuelve el problema de la "caja negra" proporcionando registros a nivel de turno de por qué se eligió un modelo o nivel de pista específico, permitiendo a los instructores auditar y ajustar las políticas dinámicamente.

Limitaciones:

• Alcance: Las métricas miden el cumplimiento conductual, no la eficacia educativa (resultados de aprendizaje).
• Fidelidad de Datos: La simulación depende de un modelo de Markov del comportamiento estudiantil derivado de sesiones de calibración limitadas; el comportamiento estudiantil en el mundo real puede diferir.
• Cobertura: El sistema funciona mejor en consultas dentro de la biblioteca canónica. Las consultas avanzadas y novedosas (por ejemplo, resolución de problemas a nivel de posgrado) actualmente sufren una menor corrección de enrutamiento debido a brechas en la biblioteca.
• Sobrecarga de Curación: Crear la biblioteca canónica requiere de 2 a 3 horas de esfuerzo del instructor por término, cuyo valor aún no ha sido validado por estudios de usuarios.

Conclusión:
El artículo demuestra exitosamente una capa de enrutamiento y gobernanza que permite a los instructores hacer cumplir políticas pedagógicas, gestionar costos y mantener registros de auditoría en laboratorios asistidos por IA. Establece una base para futuros estudios en el aula para determinar si estos mecanismos de gobernanza se traducen en resultados de aprendizaje mejorados.