Resumo Técnico: PIVOT (Preference-based Intervention Vectors for Pedagogical Tutor Steering)

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais implantados para tutoria conversacional, mas uma pedagogia eficaz exige mais do que apenas gerar respostas corretas. Uma tutoria bem-sucedida envolve escolhas estratégicas dinâmicas, como quando fornecer andaime (scaffolding) de raciocínio, oferecer dicas, dar feedback ou convidar à reflexão. Embora os métodos atuais de alinhamento baseados em prompting e treinamento (ex: Ajuste Fino Supervisionado, Aprendizado por Reforço) melhorem o comportamento pedagógico geral, eles sofrem de limitações críticas:

1. Prompting: É adaptável, mas frágil sob mudanças de distribuição ou solicitações adversariais.
2. Alinhamento baseado em treinamento: Produz comportamento estável, mas carece de controle explícito e confiável sobre movimentos pedagógicos específicos no momento da inferência sem retreinar o modelo.
3. Direcionamento de Ativação (Activation Steering): Trabalhos anteriores de direcionamento de LLMs tipicamente dependem de contrastes binários (ex: verdadeiro vs. falso). Os movimentos de um tutor pedagógico não são naturalmente binários; comportamentos como feedback, dicas e explicação direta frequentemente se sobrepõem, carecendo de classes negativas contrastivas claras. Além disso, a área carece de uma taxonomia unificada ou de um conjunto de dados rotulado para movimentos de tutoria em diferentes sistemas.

Consequentemente, há necessidade de um framework que permita o controle no tempo de inferência sobre estratégias pedagógicas específicas e sutis, sem modificar os pesos do modelo ou depender exclusivamente de prompts estáticos.

Metodologia: Framework PIVOT

Os autores propõem o PIVOT, um framework de direcionamento de ativação baseado em preferências online projetado para tutores LLM congelados. O sistema aprende vetores de direcionamento de fluxo residual de múltiplas camadas através de um ciclo gerar–rotular–otimizar.

1. Taxonomia de Movimentos de Tutoria

Os autores definem uma taxonomia de sete categorias fundamentada em trabalhos anteriores sobre tutoria inteligente e discurso de sala de aula:

• Movimentos de Andaime (Scaffolding Moves):
  • Feedback: Avalia a correção sem adicionar raciocínio.
  • Pump (Bombeamento): Convida à elaboração ampla sem estreitar o espaço de resposta.
  • Focusing (Foco): Pede ao aluno para justificar ou explicar partes específicas de seu raciocínio.
• Movimentos de Revelação de Resposta (Answer-Revealing Moves):
  • Hint/Funnelling (Dica/Funilamento): Estreita o espaço de solução com pistas ou correções sem dar a resposta.
  • Prompt (Estímulo): Quase completa um passo, deixando uma breve conclusão para o aluno.
  • Assertion (Afirmação): Declara diretamente a resposta ou explicação.
• Reflexão:
  • Metacognição: Pede ao aluno para refletir sobre sua compreensão, confiança ou estado de aprendizagem.

2. Aprendizado de Vetores de Direcionamento

O PIVOT aprende vetores específicos de movimento ($V^{(m)}$) através de camadas selecionadas do fluxo residual ($S$) usando um ciclo iterativo:

• Gerar: Dado um contexto de tutoria, o LLM congelado gera respostas candidatas. A força do direcionamento é controlada por escalares ($\alpha_{prompt}$ e $\alpha_{gen}$).
• Julgar: Um juiz LLM validado por humanos atribui um rótulo de movimento a cada resposta. Juízes separados avaliam relevância e fluência.
  • Pool de Alvo (Target Pool): Respostas que correspondem ao movimento alvo ($\hat{m} = m$) e passam nos testes de relevância/fluência.
  • Pool Não-Alvo (Non-Target Pool): Respostas com rótulos de movimento diferentes ($\hat{m} \neq m$).
• Otimizar: Pares de preferência são construídos a partir das gerações alvo e não-alvo. O sistema otimiza uma perda de preferência ponderada para atualizar os vetores de direcionamento. Crucialmente, o sistema emprega ponderação dinâmica para aumentar o peso de movimentos não-alvos que o modelo frequentemente confunde com o movimento alvo, refinando a fronteira de decisão.

3. Direcionamento no Tempo de Inferência

Na inferência, o PIVso injeta os vetores aprendidos no fluxo residual do modelo congelado.

• Movimento Único: Um vetor específico é adicionado a camadas selecionadas com um fator de escala $\gamma$.
• Composição: Múltiplos vetores podem ser combinados (somados ou subtraídos) para criar comportamentos pedagógicos mistos (ex: combinar Afirmação e Feedback).

Principais Contribuições

1. Framework PIVOT: Um framework de direcionamento de ativação no tempo de inferência para controle pedagógico que aprende vetores de fluxo residual de múltiplas camadas via otimização de preferência online sobre as próprias confusões de movimentos de tutoria do modelo.
2. Taxonomia e Pipeline de Avaliação: Introdução de uma taxonomia de sete categorias de movimentos de tutoria e um pipeline de avaliação baseado em LLM validado por humanos para avaliar movimentos de tutoria, relevância e fluência.
3. Análise de Controlabilidade: Caracterização de como a força de direcionamento, camadas de intervenção, conjuntos de dados e variantes de modelos afetam o controle, a relevância e a fluência.
4. Estudo de Usuário: Um estudo com 30 professores demonstrando que os movimentos de tutoria controláveis são pedagogicamente interpretáveis e preferíveis em relação às linhas de base neutras.

Resultados

Avaliação Offline

• Precisão de Controle: O PIVOT alcança altas taxas de acerto do movimento alvo (ex: ~88,9% no MathDial, ~88,2% no ConvoLearn) em forças de direcionamento moderadas ($\alpha \approx 1,0 - 2,0$).
• Troca de Qualidade (Trade-off): A relevância e a fluência permanecem próximas à linha de base em forças moderadas, mas degradam drasticamente quando o direcionamento é muito forte ($\alpha > 2,0$).
• Generalização:
  • Transversal de Dataset: Vetores treinados no MathDial e ConvoLearn generalizam para o dataset não visto StudyChat (80,6% de taxa de acerto).
  • Transversal de Modelo: Vetores transferem-se efetivamente para um modelo base sem ajuste de instrução (Qwen3.5-9B-Base), indicando que as direções aprendidas não dependem do pós-treinamento orientado a chat.
• Ablação de Camadas: O direcionamento de múltiplas camadas (camadas 6–28) supera significativamente o direcionamento de camada única. As camadas iniciais (6–12) são as mais críticas para um controle confiável, enquanto as camadas tardias contribuem menos.
• Comparação: O PIVOT supera uma linha de base offline do tipo BiPO treinada nos mesmos pares de preferência, sugerindo que a construção de preferência online é vital para separar comportamentos pedagógicos sobrepostos.

Estudo de Usuário

• Participantes: 30 professores com experiência em matemática primária/elementar.
• Preferência: 73,3% dos participantes preferiram as conversas direcionadas em relação a uma linha de base neutra gerada com o mesmo prompt.
• Percepção: Professores classificaram os controles como claros, utilizáveis e pedagogicamente significativos. Eles valorizaram a capacidade de guiar os alunos sem direcioná-los excessivamente ou revelar respostas prematuramente.
• Padrões de Uso: Professores ajustaram dinamicamente os controles com base nos estados dos alunos (ex: usando Foco e Dica para alunos travados, e Afirmação para alunos passivos/incertos), tratando os controles como ações pedagógicas responsivas em vez de botões arbitrários de geração.

Significância e Alegações

O artigo afirma que o PIVOT fornece um mecanismo promissor para dar aos educadores um controle mais refinado sobre as respostas do tutor LLM sem o custo de retreinar os pesos do modelo ou a fragilidade do engenharia de prompt isolada. Ao transformar comportamentos de tutoria em direções de fluxo residual controláveis, o framework permite a modulação precisa de estratégias pedagógicas (ex: mudar de explicação direta para andaime) enquanto preserva a relevância e a fluência do modelo.

Os autores enfatizam que, embora o sistema melhore a controlabilidade e a preferência dos professores, ele não garante a melhoria dos resultados de aprendizagem dos alunos. Eles posicionam o PIVOT como uma ferramenta para apoiar, não substituir, os educadores humanos, exigindo supervisão docente e salvaguardas contra a dependência excessiva de feedback gerado. O trabalho destaca que o direcionamento de ativação pode gerenciar efetivamente a natureza matizada e não binária das interações pedagógicas, um desafio que os métodos anteriores de direcionamento binário não puderam abordar.