Resumo Técnico: O Contexto de Aprendizagem Importa: Medindo e Diagnosticando Lacunas de Personalização em Design Instrucional Baseado em LLM

1. Probleção

Embora os Grandes Modelos de Linguagem (LLMs) estejam cada vez mais integrados em ambientes educacionais para fornecer suporte personalizado, permanece incerto se o fornecimento de Contexto de Aprendizagem (LC) — informações relativas à identidade, objetivos e engajamento do aprendiz — induz uma adaptação pedagógica genuína ou apenas uma variação superficial de resposta. A literatura atual frequentemente assume que a personalização emerge naturalmente do prompting ou do acesso a dados do aluno, carecendo de uma medição direta de como o LC altera a política de design instrucional de um LLM. Este artigo aborda a lacuna na avaliação de se o LC desloca o planejamento do LLM em direção a estratégias centradas no aluno, típicas de especialistas, e identifica desalinhamentos específicos onde os modelos falam em utilizar o contexto apropriadamente.

2. Metodologia: O Personalization Policy Probe (P3)

Os autores introduzem o Personalization Policy Probe (P3), um framework para medir a personalização ao nível da política de design instrucional de um LLM (a distribuição de estratégias que o modelo prioriza). A metodologia consiste em quatro componentes principais:

A. Geração de Contexto de Aprendizagem Sintético

Para garantir o controle experimental e o realismo psicológico, os autores geram perfis de alunos sintéticos baseados no Motivated Strategies for Learning Questionnaire (MSLQ).

• Modelagem de Estado Latente: Perfis de alunos são modelados como amostras de uma distribuição normal multivariada usando médias empíricas, desvios padrão e correlações entre construtos do MSLQ.
• Geração de Itens de Resposta: Respostas numéricas de itens são geradas como funções lineares de construtos latentes mais ruído.
• Síntese Qualitativa: Pontuações numéricas são convertidas em descrições de linguagem natural por um LLM, restritas à reexpressão em vez de elaboração, garantindo que nenhuma informação nova seja alucinada.
• Construção de Contexto: Esses perfis são anexados com objetivos de aprendizagem extraídos de livros didáticos da OpenStax para formar Contextos de Aprendizagem (LC) completos.

B. Tarefa de Design Instrucional

O LLM é tratado como um designer instrucional seguindo uma política $\pi$ que mapeia um estado de LC $s$ para uma distribuição sobre um espaço de ação $A$ (um conjunto de 23 estratégias instrucionais derivadas do Digital Promise Learner Variability Navigator).

• Estimativa de Política: O modelo é instruído a selecionar as top $k=5$ estratégias críticas para um determinado aluno. Isso é repetido $N=100$ vezes para estimar a distribuição da política empírica $\hat{\pi}(a|s)$.
• Condições: O estudo compara as condições Controle (cego ao LC, apenas objetivo) vs. Intervenção (consciente do LC).

C. Sinais de Referência de Especialistas

Dois instrutores de cálculo forneceram anotações para servir como verdade fundamental (ground truth):

1. Orientação de Estratégia: Classificação de estratégias como centradas no aluno (+1), centradas no conteúdo (-1) ou equilibradas (0).
2. Design Instrucional: Seleção das 5 principais estratégias para características específicas do aluno.
3. Relevância de Característica: Classificação do impacto pedagógico de cada característica do aluno em uma escala de 1 a 5.

D. Métricas

• Distância de Variação Total (TVD): Mede o desvio entre a política do LLM e a política agregada dos especialistas.
• Centramento no Aluno ($F$): Um score escalar que quantifica a extensão em que uma política enfatiza estratégias centradas no aluno sobre estratégias centradas no conteúdo.
• Análise de Relevância-Impacto: Uma análise de "deixar um fora" (leave-one-out) onde características individuais do aluno são removidas para medir sua influência na política (via mudança na TVD), comparada contra a relevância avaliada por especialistas.

3. Principais Resultados

O estudo, conduzido no GPT-5.2 através de 50 alunos sintéticos, produz os seguintes achados:

• O LC Induz Deslocamentos Sistemáticos de Política: Fornecer LC move consistentemente a política instrucional do LLM para longe de estratégias focadas no conteúdo (ex: "Exemplos Resolvidos") em direção a estratégias centradas no aluno (ex: "Estabelecimento de Metas e Monitoramento").
• Redução do Desvio em relação aos Especialistas: A inclusão de LC reduz a Distância de Variação Total entre a política do LLM e a política do especialista em todos os casos testados. Mais da metade dos contextos induziu pelo menos uma redução de 10% no desvio.
• Lacuna de Personalização Persistente: Apesar do deslocamento, os scores de centramento no aluno do LLM permanecem substancialmente abaixo dos instrutores especialistas. O modelo se adapta, mas não ao nível de um especialista.
• Desalinhamento de Relevância-Impacto: A análise das características do aluno revela uma falta de correlação linear (Spearman's $\rho \approx 0.11$) entre a relevância pedagógica avaliada por especialistas e a influência real dessas características no modelo.
  • Características Negligenciadas: Algumas características de alta relevância (ex: Autorregulação) possuem baixa influência no planejamento do LLM.
  • Relevância Alucinada: Algumas características de baixa relevância ou nulas (ex: "O aluno tem dois irmãos") exercem influência não trivial nas decisões do LLM.

4. Contribuições

1. Framework P3: Introdução de um framework de diagnóstico de nível de política para medir a personalização em tutoria de LLM via mudanças na distribuição de estratégia instrucional e centramento no aluno.
2. Geração de LC Sintético: Um método para gerar contextos de aprendizagem psicometricamente fundamentados e controlados usando dados do MSLQ para servir como sondas diagnósticas.
3. Estudo de Caso e Diagnóstico: Um estudo de caso abrangente do GPT-5.2 demonstrando que, embora o LC melhore o alinhamento com o planejamento de especialistas, um desalinhamento significativo persiste. O artigo diagnostica isso via uma análise de relevância-impacto, identificando características negligenciadas e sensibilidades espúrias.

5. Significância e Alegações

O artigo afirma que o Contexto de Aprendizagem importa materialmente, mas não gera automaticamente uma personalização eficaz.

• Conclusão Operacional: Os tutores de LLM atuais exibem uma adaptação mensurável ao LC, porém seu planejamento instrucional permanece não-especialista e insuficientemente robusto a contextos de distração.
• Mudança de Avaliação: A personalização não deve ser avaliada meramente pelo fato de o contexto mudar o comportamento do modelo, mas sim se essas mudanças se alinham com a intenção pedagógica.
• Fundação para Melhoria: Ao quantificar as lacunas de personalização e expor onde os modelos falham em priorizar características relevantes do aluno, o framework P3 permite melhorias direcionadas em sistemas de LLM conscientes de LC (ex: através de priorização de características do aluno, ajuste de modelo pedagógico e engenharia de LC) antes da implementação para alunos reais.

Os autores mantêm a modéstia quanto à generalização, observando que os resultados são específicos ao domínio do cálculo e que a análise captura impactos marginais em vez de interações complexas e não lineares entre as características do aluno. Eles enfatizam que o estudo avalia a intenção de design instrucional em vez do resultado da execução.