Resumo Técnico: Aprender a Prompter – Melhorando o Engajamento de Estudantes com Tutoria Adaptativa Baseada em LLM para o Ensino Médio

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) ofereçam um potencial significativo para personalizar a educação, os sistemas de tutoria atuais enfrentam três limitações primárias:

1. Prompting Estático: A maioria dos sistemas existentes depende de prompts estáticos projetados para uma única disciplina (ex: matemática), falhando em se adaptar aos requisitos diversos de diferentes disciplinas acadêmicas (ex: Francês, Geografia, Física).
2. Lacuna Simulação-Realidade: Pesquisas frequentemente validam a eficácia pedagógica em ambientes sintéticos onde estudantes simulados podem exibir "sicofancia" ou comportamentos idealizados, levando a mudanças distributivas quando implantados com estudantes reais.
3. Escassez de Feedback: Em cenários do mundo real, os usuários frequentemente pulam exercícios formais após interagir com um tutor, resultando em uma falta de feedback imediato e explícito (ex: pontuações de testes) necessário para treinar modelos adaptativos. As abordagens existentes frequentemente dependem de pontuações únicas de caixa-preta que são propensas a alta variância e manipulação de recompensas (reward gaming).

Metodologia

Os autores propõem um Sistema de Tutoria Adaptativo Sensível ao Assunto que enquadra a seleção de prompts como um problema de roteamento de bandit contextual. O framework consiste em três componentes principais:

1. Representação de Entrada e Espaço de Prompts

• Entrada Híbrida ($X$): Para mitigar a degeneração de representação (anisotropia) em embeddings pré-treinados, o sistema utiliza uma arquitetura de caminho duplo. Ele funde um embedding de tópico de 768 dimensões (de um codificador E5) com um embedding de ID de assunto treinável de 64 dimensões. Isso injeta explicitamente fronteiras de assunto no espaço latente.
• Pool de Prompts ($P$): O sistema seleciona de um pool de 20 prompts pedagógicos distintos. Esses prompts, elaborados por especialistas humanos e variados via LLMs, cobrem estratégias como o andaime socrático (Socratic scaffolding), reversão de papéis de Feynman e suporte empático.

2. Calibração de Pontuação Avaliativa ($Y$)

Para abordar a falta de pontuações imediatas de exercícios, os autores empregam um Avaliador de LLM (GPT-5-mini) que decompõe a eficácia instrucional em 14 critérios pedagógicos binários fundamentados na teoria educacional (ex: andaime do tutor, curiosidade do aluno, respostas corretas dentro de 2 turnos).

• Ponderação: A pontuação bruta é uma soma ponderada desses 14 recursos, onde os pesos são derivados de correlações de Pearson com resultados de aprendizagem rotulados por humanos.
• Calibração: Para preencher a lacuna sim-to-real, uma função de calibração sigmoide é aplicada à pontuação bruta ($y_{raw}$) para alinhar a distribuição do feedback simulado com as distribuições empíricas do mundo real, evitando que o roteador otimize excessivamente para comportamentos sintéticos.

3. Arquitetura de Roteamento e Otimização

• Rede Actor-Critic: O roteador utiliza um mecanismo de injeção de assunto residual. O embedding do assunto é injetado diretamente nas camadas de saída finais (via conexões de salto/skip-connections) para evitar a diluição durante transformações não lineares profundas, garantindo que os requisitos específicos do assunto governem a seleção da estratégia.
• Treinamento: O modelo é otimizado usando Otimização de Política Próxima (PPO) adaptada para um cenário de bandit contextual de passo único. Ele utiliza Repetição de Experiência (Experience Replay) e amostragem de importância para lidar com a alta latência dos ambientes de LLM.
• Estratégia de Implantação: Na implantação ao vivo, o sistema opera em dois modos: Explotação (80% do tráfego, selecionando greedyamente a estratégia de maior probabilidade) e Exploração (20% do tráfego, amostragem ponderada para coletar dados de treinamento diversos).

Configuração Experimental

• Simulação: Um ambiente controlado com três perfis de estudantes simulados (Motivado, Mediano, Desmotivado) foi usado para treinar o roteador ao longo de 16.000 passos.
• Teste A/B no Mundo Real: O sistema foi implantado com 359 estudantes do ensino médio holandeses (656 conversas) em março e abril de 2026.
• Baselines: Comparações foram feitas contra um Baseline de Produção (prompt socrático estático refinado por especialistas) e um Baseline de Literatura (adaptação estática de um prompt pedagógico anterior).

Principais Resultados

1. Desempenho de Simulação

• O roteador adaptativo superou significativamente ambos os baselines estáticos na simulação (Pontuação Média: 0,694 vs. 0,647 e 0,64, $p < 0,001$).
• O roteador eliminou com sucesso a "cauda" de interações ruins (pontuações < 0,4) observadas em abordagens estáticas.
• Alinhamento de Assunto: Em 8 de 13 assuntos avaliados, o roteador alcançou uma correspondência perfeita com a estratégia empiricamente ótima. Em outros, a margem de arrependimento (regret margin) foi mínima (< 0,02).

2. Implantação no Mundo Real

• Eficiência Instrucional: O roteador adaptativo reduziu o número de turnos necessários para atingir interações profundas (turnos $\ge$ 5) em aproximadamente 3 turnos em comparação com o baseline ($p = 0,007$).
• Mudança de Estratégia: O roteador adaptou-se com sucesso de estratégias preferidas pela simulação (ex: Feynman/raciocínio profundo) para estratégias ótimas do mundo real (ex: Coach/andaime), demonstrando uma transferência bem-sucedida de sim-to-real.
• Taxas de Conversão:
  • O roteador de Explotação alcançou uma taxa de conversão comparável ao baseline estático (19,1% vs. 19,6%).
  • O roteador de Exploração (amostragem estocástica) alcançou uma taxa de conversão significativamente maior de 28,1%, sugerindo que a diversidade de estratégias pode ser mais benéfica do que uma política "ótima" única no início da implantação.
• Validade da Pontuação: As pontuações pedagógicas do avaliador de LLM foram estatisticamente preditivas da conversão de exercícios (0,599 para convertidos vs. 0,560 para não convertidos, $p = 0,037$), validando a métrica de proxy.

Significância e Alegações

O artigo afirma demonstrar que:

1. Feedback Decomposto é Robusto: A decomposição da eficácia instrucional em 14 critérios observáveis fornece um proxy confiável e alinhado com humanos para o sucesso do aprendiz, mesmo na ausência de pontuações de exercícios subsequentes.
2. Roteamento Adaptativo Funciona: Enquadrar a tutoria como um problema de roteamento de prompts permite que o sistema especialize estratégias pedagógicas através de diferentes assuntos, superando baselines estáticos tanto em simulação quanto em configurações do mundo real.
3. Transferência Sim-to-Real é Alcançável: Através de calibração de pontuação e injeção de assunto residual, o sistema pode preencher a lacuna entre simulações idealizadas e interações reais esparsas e ruidosas, mudando estratégias para corresponder às necessidades reais dos alunos (ex: movendo-se de raciocínio profundo para andaime).

Os autores observam limitações, incluindo a escassez de dados em assuntos de cauda longa, a dificuldade de medir o ganho de conhecimento imediato sem exercícios formais e a restrição de um pool de prompts discretos que impede a geração de novas estratégias híbridas. Eles sugerem que trabalhos futuros possam focar em estudos longitudinais, equilíbrio de desequilíbrios de domínio e incorporação do histórico de conversação na decisão de roteamento.