Resumo Técnico: Modelos de Linguagem Visual Podem Ser Adaptativos na Educação Matemática? Um Estudo de Rubrica Baseado em Modelo de Aprendiz

1. Declaração do Problema

Enquanto os Modelos de Linguagem Visual (VLMs) são cada vez mais adotados como agentes de tutoria personalizada na educação matemática, há uma lacuna crítica na avaliação sistemática de sua capacidade de adaptar-se a perfis diversos de aprendizes. Os VLMs atuais funcionam principalmente como "resolvedores", priorizando a correção da resposta, em vez de atuarem como "agentes educacionais" que fornecem orientação pedagogicamente transparente alinhada à Zona de Desenvolvimento Proximal do aprendiz.

Os paradigmas de avaliação existentes refletem amplamente cenários de apenas texto, focando na precisão da resposta a perguntas visuais, enquanto negligenciam a qualidade do raciocínio instrucional e a capacidade de adaptar a orientação com base no contexto do aprendiz (por exemplo, conhecimento prévio, atitude de aprendizagem, autoeficácia). Além disso, quando os aprendizes não compartilham explicitamente dados detalhados de desempenho, permanece incerto se os VLMs podem inferir perfis de aprendizes ou gerar respostas instrucionais verdadeiramente apropriadas e diferenciadas. Este artigo aborda a lacuna na avaliação de se os VLMs podem demonstrar capacidades instrucionais adaptativas em tarefas de tutoria em matemática fundamentadas visualmente.

2. Metodologia

2.1 Rubrica Baseada em Modelo de Aprendiz

Os autores propõem uma nova rubrica fundamentada no quadro de aprendizagem adaptativa (Shute e Towle, 2018) e nas características de aprendizes identificadas por Bernacki et al. (2021). A rubrica formaliza a avaliação da adaptatividade em três dimensões principais:

1. Adaptatividade: O foco avaliativo central, subdividido em:
   • Aspectos Cognitivos: Conhecimento atual, escopo de conteúdo (alinhado aos Padrões Comuns de Estado) e nível de dificuldade.
   • Aspectos Motivacionais: Atitude de aprendizagem e autoeficácia.
   • Complexidade: Explicação do significado da questão, fornecimento de exemplos, prática adicional e dicas passo a passo.
2. Correção: Avalia a validade matemática da resposta final e do raciocínio da solução (Q10–Q12).
3. Qualidade: Avalia a qualidade da geração, incluindo alucinações, coerência lógica, fidelidade às instruções e formatação (Q13–Q19).

2.2 Desenho Experimental

• Conjunto de Dados: Um conjunto de dados estratificado de 10 questões representativas de matemática (5 do 4º ano, 5 do 8º ano) extraídas do Estudo de Tendências Internacionais em Matemática e Ciências (TIMSS) de 2019 e 2023. 90% dos itens são fundamentados visualmente (exigindo interpretação de diagramas).
• Perfis de Aprendiz: Seis perfis sintéticos construídos a partir de estatísticas do TIMSS, variando por ano (4/8), nível de desempenho (Alto, Intermediário, Baixo), atitude de aprendizagem e confiança auto-relatada.
• Condições de Contexto: Quatro grupos de teste ($C_1$ a $C_4$) com informações específicas do aprendiz aumentando monotonicamente:
  • $C_1$: Questão de matemática apenas.
  • $C_2$: Questão + Prompt do usuário (atitude/confiança).
  • $C_3$: Questão + Prompt do sistema (objetivos do ano) + Prompt do usuário.
  • $C_4$: Questão + Prompt do sistema + Prompt do usuário + Perfil completo do aprendiz (incluindo pontuações do TIMSS).
• Modelos Avaliados: Cinco VLMs de última geração (GPT-5, GPT-o1, Gemini-2.5-Flash, Llama3.2-11B-VL, Qwen3-30B-VL).
• Anotação: Quatro especialistas do domínio anotaram 600 respostas do modelo usando a rubrica. A concordância entre avaliadores foi forte ($\kappa = 0,87$).

3. Resultados Principais

3.1 Desempenho de Adaptatividade

• Variância entre Modelos: Existem diferenças significativas na adaptatividade entre os modelos ($F(4, 705) = 41,81, p < .001$). Gemini-2.5-Flash e Qwen3-30B-VL alcançaram pontuações de adaptatividade significativamente mais altas do que GPT-5, GPT-o1 e Llama3.2-11B-VL.
• Insensibilidade ao Perfil do Aprendiz: As pontuações de adaptatividade mostraram nenhuma associação significativa com os níveis de desempenho dos aprendizes ($p = .18$). Os modelos tenderam a adotar um estilo pedagógico "tamanho único", falhando em diferenciar estratégias instrucionais com base em necessidades específicas do aprendiz (por exemplo, aprendizes de alto desempenho versus baixo desempenho).
• Sensibilidade ao Contexto: A adaptatividade melhorou significativamente com a disponibilidade de mais informações contextuais ($F(3, 708) = 92,73, p < .001$). O Grupo 1 (apenas questão) pontuou significativamente mais baixo do que os Grupos 2–4. No entanto, mesmo com contexto completo, os modelos lutaram para produzir consistentemente respostas baseadas no modelo do aprendiz.

3.2 Correção e Qualidade

• Correção: Impulsionada principalmente por diferenças entre modelos ($p < .001$). Gemini-2.5-Flash e modelos baseados em GPT superaram o Llama3.2-11B-VL. A correção foi robusta entre perfis de aprendizes, sugerindo que os modelos ou atingiram um teto de desempenho com prompts básicos ou ignoraram prompts de sistema suplementares.
• Qualidade: Existiu variância significativa entre os modelos ($p < .001$). O Llama3.2-11B-VL produziu contagens de erros significativamente mais altas. O Qwen3-30B-VL alcançou a maior média de adaptatividade, mas sofreu em correção e qualidade devido a gerações excessivamente longas que foram frequentemente truncadas ou incompletas.

3.3 Observações Específicas

• Negligência Motivacional: Os modelos exibiram adaptação mínima às atitudes dos aprendizes e à autoeficácia. Por exemplo, o GPT-o1 abordou preocupações de autoeficácia em apenas 8% dos casos aplicáveis.
• Desalinhamento de Conhecimento: Fornecer antecedentes do aprendiz não garantiu feedback apropriado. Em alguns casos, os modelos forneceram explicações mais detalhadas a aprendizes de alto desempenho do que a aprendizes intermediários que exigiam mais suporte.
• Falhas Multimodais: Itens de geometria apresentaram desafios significativos. Os modelos frequentemente confundiram rótulos de opções com valores numéricos (por exemplo, respondendo "6kg" em vez de "D") ou alucinaram informações a partir de diagramas, levando a baixas pontuações de correção apesar de raciocínios plausíveis.

4. Contribuições Principais

1. Rubrica Baseada em Modelo de Aprendiz: A proposta de um quadro de avaliação sistemático que desvenda a intenção pedagógica (adaptatividade) da precisão técnica (correção/qualidade), fundamentado em dimensões cognitivas, motivacionais e de complexidade.
2. Conjunto de Dados de Avaliação Sintético: Construção de um conjunto de dados anotado por humanos baseado em itens do TIMSS, incorporando perfis diversos de aprendizes e condições contextuais controladas para simular cenários realistas de tutoria.
3. Análise Empírica: Análise de primeira mão de cinco VLMs de última geração, revelando que, embora os modelos mostrem alguma sensibilidade ao contexto, seu comportamento adaptativo permanece limitado e inconsistente, particularmente em relação a fatores motivacionais e suporte diferenciado.

5. Significado e Alegações

O artigo afirma que, embora os VLMs mostrem promessa como ferramentas educacionais, eles atualmente carecem do suporte matizado necessário para uma aprendizagem adaptativa genuína. O estudo destaca uma lacuna entre respostas genéricas de tutoria e instrução verdadeiramente adaptativa que se alinha ao histórico acadêmico específico e ao estado psicológico do aprendiz.

Os autores posicionam este trabalho como uma avaliação de linha de base. Eles afirmam explicitamente que uma resposta classificada como "adaptativa" neste estudo não representa necessariamente uma resposta adaptativa de alto nível e alta qualidade. O significado reside em fornecer uma ferramenta principista para comparar sistematicamente capacidades adaptativas e identificar que os modelos atuais frequentemente retornam a scripts genéricos quando o contexto crítico é introduzido ou removido. O trabalho sublinha a necessidade de metodologias de avaliação que priorizem o alinhamento pedagógico com os aprendizes para orientar o desenvolvimento de modelos multimodais mais fundamentados na educação.

6. Limitações

Os autores reconhecem várias limitações:

• As questões da rubrica para adaptatividade não são exaustivas (por exemplo, faltam variáveis afetivas e socioculturais).
• O número limitado de itens de matemática pode resultar em cobertura insuficiente da adaptatividade pedagógica.
• O estudo utilizou perfis de aprendizes simulados em vez de alunos reais, potencialmente perdendo comportamentos de aprendizagem complexos inerentes à interação humano-IA.
• A rubrica serve como linha de base; ela não avalia a profundidade ou sofisticação de estratégias adaptativas além dos critérios definidos.