Policy-Governed LLM Routing with Intent Matching for Instrument Laboratories

1. Declaração do Problema

A integração de Modelos de Linguagem de Grande Escala (LLMs) como tutores em laboratórios de instrumentação de engenharia apresenta uma tensão crítica: fornecer assistência suficiente para auxiliar a aprendizagem, evitando ao mesmo tempo o excesso de suporte (scaffolding) que induz dependência do aluno. Os sistemas atuais de tutoria com LLM sofrem com três limitações principais:

• Falta de Controle: Os instrutores têm capacidade limitada para ditar quando é permitido o auxílio de alto suporte (por exemplo, soluções completas), quais transformações são aplicadas aos prompts, ou como os custos são limitados.
• Lacuna entre Pedagogia e Operações: Os sistemas de roteamento existentes otimizam para custo ou qualidade da resposta, mas ignoram políticas pedagógicas definidas pelo instrutor (por exemplo, "permitir apenas orientação conceitual, a menos que aprovado").
• Auditabilidade: Há uma falta de mecanismos transparentes para rastrear decisões de roteamento, modificações de prompts e uso de orçamento em ambientes de laboratório em tempo real.

O artigo aborda a lacuna em evidências de sistemas para combinar roteamento multi-modelo consciente de custos com políticas de suporte governadas pelo instrutor e intervenções de prompt auditáveis, especificamente para laboratórios instrumentados.

2. Metodologia e Arquitetura do Sistema

Os autores propõem um sistema de dois componentes integrado à plataforma de laboratório remoto de eletrônica LABIIUM:

A. Componentes do Sistema

1. Routiium (O Gateway):

   • Um gateway compatível com OpenAI que atua na frente de múltiplos backends de LLM (locais e em nuvem).
   • Funções: Autentica clientes, aplica sobreposições de prompt configuráveis (modificações em consultas/respostas baseadas em políticas) e registra o uso por turno (tokens, custo, modelo).
   • Privacidade: Mantém as consultas dos alunos dentro da rede do campus quando roteadas para modelos locais.

2. EduRouter (O Motor de Decisão):

   • Um serviço de roteamento consciente de políticas que seleciona o backend para cada consulta.
   • Fluxo de Trabalho:
     1. Correspondência de Intenção: Calcula a similaridade de embeddings entre a consulta do aluno e uma Biblioteca de Questões Canônicas curada pelo instrutor.
     2. Aplicação de Políticas: Verifica limites de orçamento, fluxos de aprovação e restrições de nível de dica (L0–L3).
     3. Decisão de Roteamento: Seleciona o modelo com base em metadados da biblioteca (nível preferido, custo máximo) e "aderência" (mantendo o contexto conversacional no mesmo modelo).
     4. Fallback: Se nenhuma correspondência na biblioteca exceder um limiar, recorre ao roteamento heurístico baseado na complexidade da consulta.

B. Mecanismos de Governança

O sistema define Níveis de Dica e Modos de Política específicos:

• Níveis de Dica (L0–L3): Variando de validação mínima (L0) a soluções completas (L3). Níveis mais altos (L2/L3) acionam débitos no orçamento ou aprovações de Assistente de Ensino (TA).
• Modos de Política:
  • P0 (Não Governado): Sem limites, sobreposições desativadas.
  • P1 (Governado): Limites de gastos e tetos de dica aplicados.
  • P2 (Focado em Integridade): Filas de aprovação estritas e gateamento por bandeira de integridade.

C. Metodologia de Avaliação

O sistema foi avaliado usando duas abordagens:

1. Simulação Orientada a Rastros: Um simulador calibrado com dados de dois laboratórios de eletrônica (caracterização de LED, análise de circuito RC) para testar a conformidade com políticas sob cargas de trabalho sintéticas (416 configurações).
2. Reprodução de Consultas ao Vivo: Uma carga de trabalho de 100 consultas reproduzida através de endpoints de modelo ao vivo para medir custo real, latência e correção do roteamento.

3. Contribuições Principais

• Routiium: Um gateway de código aberto, compatível com OpenAI, que permite sobreposições de prompt configuráveis e registro de auditoria por turno.
• EduRouter: Um serviço de roteamento que integra correspondência de intenção baseada em embeddings com aplicação estrita de políticas (orçamentos, aprovações).
• Métricas de Governança: Um conjunto novo de métricas comportamentais (não métricas de resultado educacional) para caracterizar o alinhamento do sistema com as políticas do instrutor:
  • Índice de Alinhamento de Desafio (CAI): Concordância entre as distribuições de dicas observadas e alvo.
  • Janela de Luta Produtiva (PSW): Turnos antes que dicas de alto suporte apareçam.
  • Pontuação de Adesão à Sobreposição (OAS): Verificação de modificações de prompt.
  • Taxa de Acerto Canônico (CHR) e Ganho de Roteamento (CRG): Eficiência do roteamento baseado em intenção.
• Lançamento Aberto: Lançamento completo do código-fonte, configurações do simulador e ferramentas de avaliação.

4. Resultados

Resultados da Simulação (Conformidade com Políticas)

• Alinhamento de Desafio: Políticas governadas (P1/P2) aumentaram o CAI de 0,90 (não governado) para 0,98, indicando adesão quase perfeita às distribuições de dicas alvo.
• Adesão à Sobreposição: A OAS melhorou de 0,69 para 0,87 sob políticas governadas.
• Luta Produtiva: A métrica PSW aumentou de 1,4 para 3,6 turnos, significando que os alunos receberam mais tempo para lutar antes de receber dicas de alto suporte.
• Equidade: O Índice de Equidade (EI) diminuiu ligeiramente (0,59 para 0,52), indicando que os limites de orçamento concentraram dicas L3 em menos alunos, uma compensação que os instrutores devem gerenciar.

Resultados da Reprodução ao Vivo (Custo e Latência)

• Redução de Custos: O EduRouter roteou 75% das consultas para um modelo local (gpt-oss-20b), reduzindo os custos totais de tokens em 66% ($0,087 vs. $0,26 para roteamento totalmente premium).
• Latência:
  • Nuvem Direta (GPT-5 Mini): 23,2s de latência média.
  • Modelo Local: 26,1s de latência média.
  • Execução Roteada: 21,7s de latência média (devido à seleção inteligente), com um Tempo até o Primeiro Token (TTFT) de 305ms (incluindo sobrecarga de roteamento).
• Correção do Roteamento:
  • Consultas Fáceis/Moderadas: 96% / 89% de correção.
  • Consultas Avançadas: 68% de correção (atribuído à cobertura canônica incompleta para solução de problemas de nível de pós-graduação).
• Desempenho Canônico: Na banca de questões curada de 89 intenções, a Taxa de Acerto Canônico (CHR) foi de 1,0, demonstrando correspondência perfeita para intenções conhecidas.

5. Significado e Limitações

Significado:

• Artefato de Sistemas: O artigo fornece um framework concreto e implementável para "IA governada" na educação, deslocando o foco de "os LLMs podem ensinar?" para "como podemos controlar como os LLMs ensinam?".
• Eficiência de Custos: Demonstra que o roteamento baseado em embeddings pode reduzir significativamente os custos sem sacrificar a capacidade de lidar com consultas padrão de laboratório.
• Auditabilidade: Resolve o problema da "caixa preta" fornecendo registros em nível de turno de por que um modelo específico ou nível de dica foi escolhido, permitindo que os instrutores auditem e ajustem as políticas dinamicamente.

Limitações:

• Escopo: As métricas medem conformidade comportamental, não eficácia educacional (resultados de aprendizagem).
• Fidelidade dos Dados: A simulação depende de um modelo de Markov do comportamento do aluno derivado de sessões limitadas de calibração; o comportamento real do aluno pode diferir.
• Cobertura: O sistema performa melhor em consultas dentro da biblioteca canônica. Consultas avançadas e novas (por exemplo, solução de problemas de nível de pós-graduação) atualmente sofrem com menor correção de roteamento devido a lacunas na biblioteca.
• Sobrecarga de Curadoria: A criação da biblioteca canônica requer 2–3 horas de esforço do instrutor por termo, cujo valor ainda não foi validado por estudos de usuários.

Conclusão:
O artigo demonstra com sucesso uma camada de roteamento e governança que permite aos instrutores aplicar políticas pedagógicas, gerenciar custos e manter trilhas de auditoria em laboratórios assistidos por IA. Estabelece uma base para futuros estudos em sala de aula para determinar se esses mecanismos de governança se traduzem em melhores resultados de aprendizagem.