Memory-Based vs. Context-Only Conditioning Produces Distinct Behavioral Patterns in Stateful Personalization

Resumo Técnico: Condicionamento Baseado em Memória vs. Condicionamento Apenas Contextual na Personalização com Estado

Declaração do Problema
Sistemas de IA educacional visam apoiar a aprendizagem personalizada, contudo, sistemas voltados para professores exigem insights interpretáveis e acionáveis para aprimorar a tomada de decisões instrucionais. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham avançado por meio da Geração Aumentada por Recuperação (RAG), essas abordagens permanecem amplamente episódicas, dependendo da consulta atual ou de informações recuperadas, sem memória persistente. Existe uma lacuna na compreensão de como a transição de um condicionamento puramente contextual (baseado na pergunta imediata do aluno) para um condicionamento baseado em memória (utilizando informações persistentes do aprendiz derivadas do histórico de interação) altera os padrões comportamentais de recomendadores educacionais. Especificamente, não está claro se métricas de similaridade baseadas em embeddings, que capturam a responsividade à entrada atual, podem caracterizar adequadamente a personalização fundamentada em estados acumulados do aprendiz.

Metodologia
Os autores conduziram um estudo comparativo controlado utilizando um sistema recomendador voltado para professores, implantado em cursos de nível de pós-graduação em ciência da computação no Instituto de Tecnologia da Geórgia. O estudo utilizou registros de interação anonimizados contendo 8.838 perguntas de alunos de aproximadamente 200 estudantes.

• Desenho Experimental: Duas configurações de sistema foram comparadas usando o mesmo modelo de linguagem subjacente e procedimento de geração. A única variável foi a entrada de condicionamento:
  1. Contextual (Condicionada à Pergunta): O sistema recebeu apenas a pergunta atual do aluno.
  2. Baseada em Memória (Condicionada ao Aprendiz): O sistema recebeu a pergunta atual mais um estado persistente do aprendiz (derivado de interações anteriores) e uma tática pedagógica selecionada.
• Construção do Estado do Aprendiz: O estado persistente incluiu um "vetor de necessidade" (desempenho, engajamento, progressão de habilidades), uma necessidade instrucional dominante e um rótulo de persona. Estes foram mapeados para uma de três táticas pedagógicas do quadro de Hattie e Timperley: Feed Up (Alimentação para Cima), Feed Back (Feedback) ou Feed Forward (Alimentação para Frente).
• Amostragem de Dados: Para a comparação controlada, 50 perguntas de alunos foram amostradas aleatoriamente. Ambas as configurações do sistema geraram recomendações para essas entradas idênticas, diferindo apenas no contexto de condicionamento.
• Métricas e Análise:
  • Correlação de Desvio: Utilizada para medir a responsividade ao nível da pergunta. Esta métrica calcula a correlação entre os desvios dos embeddings das perguntas e os embeddings das recomendações em relação à média da sala de aula. Valores mais altos indicam um alinhamento mais forte com a pergunta atual específica.
  • Testes Estatísticos: Testes t pareados e testes de postos sinalizados de Wilcoxon foram utilizados para comparar as duas condições.
  • Avaliação por Professores: Cinco instrutores avaliaram as recomendações quanto à utilidade e usabilidade (escala Likert de 5 pontos) e participaram de entrevistas semiestruturadas para avaliar a interpretabilidade e a acionabilidade.

Principais Resultados

1. Divergência na Responsividade: As recomendações contextuais exibiram uma correlação de desvio significativamente maior ($\rho = 0,689$) em comparação com as recomendações baseadas em memória ($\rho = 0,578$). Testes estatísticos confirmaram que essa redução foi significativa ($p \ll 0,01$) com tamanhos de efeito grandes. Isso indica que o condicionamento baseado em memória reduz sistematicamente o alinhamento estrito com a pergunta atual em favor de um comportamento dependente do histórico.
2. Diferenciação Específica do Aprendiz: Sob condicionamento baseado em memória, o sistema gerou recomendações distintas para diferentes aprendizes recebendo a mesma pergunta exata. Por exemplo, um aprendiz com uma necessidade dominante de "Engajamento" recebeu uma tática Feed Up focada na clareza de objetivos, enquanto um aprendiz com uma necessidade de "Desempenho" recebeu uma tática Feed Back focada na precisão e identificação de concepções equivocadas. Em contraste, o sistema contextual produziu saídas idênticas para a mesma entrada, independentemente do histórico do aprendiz.
3. Feedback dos Professores: As avaliações dos professores indicaram alta utilidade e usabilidade percebidas (médias > 4,0). Os instrutores consideraram as recomendações interpretáveis e acionáveis para identificar oportunidades de intervenção, validando a relevância prática da abordagem baseada em memória.

Principais Contribuições

• Diagnósticos Comportamentais: O artigo demonstra que métricas de similaridade padrão baseadas em embeddings (como a correlação de desvio) são insuficientes para avaliar a personalização fundamentada no histórico do aprendiz. Essas métricas favorecem a responsividade contextual, mas falham em capturar a diferenciação com estado.
• Distinção entre Estado e Episódico: O estudo fornece evidências empíricas de que o condicionamento em estados persistentes do aprendiz induz comportamentos de sistema qualitativamente diferentes em comparação com o condicionamento episódico. Estabelece que a personalização baseada em memória permite a diferenciação sob entradas idênticas, uma capacidade ausente em sistemas apenas contextuais.
• Estrutura de Variáveis de Design: Os autores enquadram o "contexto de condicionamento" como uma variável de design primária. Eles mostram que adicionar o histórico do aprendiz no momento da geração permite a personalização com estado sem modificar o modelo de linguagem subjacente ou o procedimento de treinamento.
• Abordagem Não Baseada em Identidade: O trabalho distingue a personalização baseada em memória (derivada do histórico de interação e sinais comportamentais) da personalização baseada em identidade, oferecendo uma abordagem prática e pseudo-anonimizada que evita os riscos de má representação associados a atributos de identidade.

Significado e Alegações
O artigo alega que o condicionamento em um estado persistente do aprendiz produz comportamentos de personalização qualitativamente diferentes em comparação com o condicionamento contextual apenas, apoiando a hipótese de que sistemas baseados em memória permitem diferenciação específica do aprendiz sob entradas idênticas.

Os autores afirmam explicitamente que não alegam que essas mudanças comportamentais resultem em melhores resultados de aprendizagem. Em vez disso, o significado reside na mudança do comportamento do sistema: passando de "respostas episódicas impulsionadas por métricas de similaridade de nível superficial" para "comportamento estruturado informado por interações anteriores". Essa transição é análoga à diferença entre similaridade superficial e profunda em IA baseada em conhecimento.

O estudo conclui que avaliar a personalização requer analisar padrões comportamentais em vez de confiar em uma única métrica de similaridade. Propõe diagnósticos ao nível do comportamento como uma ferramenta necessária para estudar como o contexto de condicionamento molda as saídas do sistema, complementando trabalhos futuros sobre distintividade de representação. As descobertas motivam uma mudança mais ampla no design de IA educacional, da responsividade puramente contextual para a personalização baseada em memória.