Resumo Técnico: GeoDial

Definição do Problema

Embora a informação visual seja crítica para o aprendizado em domínios como a matemática, particularmente na geometria, os conjuntos de dados de tutoria educacional existentes são predominantemente compostos apenas por texto. Essa limitação dificulta o desenvolvimento de tutores de IA capazes de emular instrutores humanos que dependem de diagramas e pistas visuais. Tutores baseados em computador anteriores (ex: AutoTutor, Cognitive Tutor) utilizavam diagramas, mas enfrentavam problemas de escala na autoria de scripts. Embora os Grandes Modelos de Linguagem (LLMs) tenham resolvido o problema da escala em tutoria baseada em texto, suas iterações iniciais careciam de capacidades visuais. Com o advento dos Modelos de Linguagem-Visão (VLMs), há uma oportunidade de reintegrar a modalidade visual na tutoria. No entanto, há uma carência de conjuntos de dados que capturem como os professores coordenam a linguagem com a orientação visual, como o destaque de diagramas, para abordar erros dos alunos.

Metodologia

Protocolo de Coleta e Anotação de Dados

Os autores apresentam o GeoDial, um conjunto de dados de tutoria multimodal composto por mais de 1.300 diálogos professor-aluno focados na resolução de problemas de geometria. O processo de coleta de dados envolve uma configuração controlada onde professores de matemática interagem com VLMs atuando como alunos.

• Configuração: Professores são apresentados a um problema de geometria, seu diagrama, a solução correta e uma solução incorreta do aluno (gerada por um VLM). A conversa prossegue turno a turno até que o professor decida encerrá-la.
• Interface de Anotação: Para cada turno do professor, os anotadores devem:
  1. Selecionar Atos de Diálogo: Escolher de uma hierarquia de 5 atos (Genérico, Foco, Sondagem, Instrução, VerFigura) e 1 16 subatos (ex: PedirComprimento, ObterRelação, VerDestaque) para definir a estratégia pedagógica.
  2. Destacar Diagramas: Usar uma ferramenta de caneta digital para desenhar no diagrama. Os destaques são codificados por cores (verde para geral, marrom para relações secundárias) e devem corresponder ao ato selecionado (ex: VerFigura requer um destaque).
  3. Selecionar Feedback: Escolher feedback positivo, negativo ou neutro para prefixar a fala.
  4. Gerar Enunciado: Professores selecionam ou editam enunciados candidatos sugeridos por três VLMs (Gemini-Flash-2.5, GPT-4o, Claude-Sonnet-4) com base na estratégia selecionada e nos destaques.
• Pós-processamento: Para reduzir o ruído e padronizar a avaliação, os destaques livres criados por humanos são convertidos em anotações textuais estruturadas representando linhas, ângulos, arcos e rótulos definidos por pontos nomeados. Isso permite a avaliação por modelos que não conseguem gerar imagens diretamente.

Configuração Experimental

Os autores realizaram o ajuste fino (fine-tuning) de vários VLMs e modelos apenas de texto no GeoDial para avaliar sua capacidade de gerar o próximo turno do professor, incluindo o ato de diálogo, o subato, o tipo de feedback, os destaques do diagrama e o enunciado textual.

• Modelos: Os modelos avaliados incluem VLMs de código fechado (Gemini, GPT-4o, Claude), modelos de texto de código aberto (Qwen3, Llama 3.1) e VLMs de código aberto (Qwen3-VL, InternVL, Llama 3.2-Vision).
• Métricas:
  • Categórica: Macro-F1 para Atos, Subatos e Feedback.
  • Enunciado: BLEU e BERTScore.
  • Destaques: Devido à alta frequência de conjuntos vazios (quando nenhum destaque é necessário), os autores propõem duas métricas: Precisão de Predição (prever se um destaque é necessário) e F1 de Decisão (escore F1 calculado apenas em instâncias onde um destaque é requerido). Uma Pontuação Combinada também é definida para agregar os resultados.

Principais Contribuições

1. Conjunto de Dados GeoDial: O primeiro conjunto de dados de diálogos de tutoria de geometria que integra estritamente estratégias de ensino conversacionais com destaques visuais de granularidade fina fundamentados em diagramas. Contém 1.341 diálogos com 5.168 instâncias de destaque anotadas.
2. Protocolo de Anotação: Um protocolo escalável que captura a coordenação da linguagem e das ações visuais, incluindo uma taxonomia específica para atos pedagógicos e um mecanismo para padronizar destaques visuais em representações textuais.
3. Análise Empírica de VLMs: Uma avaliação abrangente mostrando que, embora o ajuste fino supervisionado (SFT) melhore significativamente a qualidade dos enunciados de tutoria gerados e do andaime pedagógico (scaffolding), os atuais VLMs têm dificuldade em produzir destaques de diagramas precisos.

Resultados

• Geração de Texto: Modelos ajustados via fine-tuning superam substancialmente os modelos base e os baselines aleatórios na geração de enunciados, atos e subatos pedagogicamente apropriados. Modelos habilitados para visão geralmente performam melhor que modelos apenas de texto, com modelos maiores (ex: Qwen3-VL-32B) alcançando os melhores resultados gerais.
• Geração de Destaques: Apesar das melhorias na precisão de predição (identificar quando destacar), os modelos têm dificuldade com o F1 de Decisão (identificar o que destacar).
  • O fine-tuning frequentemente leva os modelos a "abster-se" de destacar com mais frequência para evitar falsos positivos, o que reduz o escore F1 de Decisão devido ao alto desequilíbrio de exemplos de conjuntos vazios nos dados.
  • Experimentos focados, separando a predição de destaque da geração de enunciado e utilizando treinamento ponderado (superamostragem de exemplos positivos), melhoraram o desempenho, mas não resolveram totalmente a dificuldade.
  • Modelos treinados com enunciados de verdade fundamental (ground-truth) performaram melhor no destaque do que aqueles que usaram enunciados gerados por modelos, sugerindo um acoplamento estreito entre o texto e a ação visual que é difícil de aprender simultaneamente.

Significância e Alegações

O artigo afirma que o GeoDial expõe um desafio distinto para a modelagem pedagógica multimodal: a integração eficaz do raciocínio visual com a interação instrucional. Embora os métodos atuais possam aprender a gerar diálogos de tutoria de alta qualidade, eles falham em replicar o destaque visual preciso (destaque de diagrama) usado por instrutores humanos.

Os autores posicionam o GeoDial como um recurso para impulsionar pesquisas futuras em direção a modelos que possam coordenar melhor a linguagem instrucional com a orientação visual. Eles reconhecem limitações, incluindo o uso de estudantes simulados (que podem não capturar perfeitamente todos os comportamentos humanos dos estudantes) e a restrição à geometria (um subconjunto da matemática). O trabalho enfatiza que preencher a lacuna entre a tutoria baseada em texto e a tutoria visualmente fundamentada continua sendo um obstáculo significativo para a IA na educação.