Resumo Técnico: Milhões de Movimentos de Tutoria (MTM)

Declaração do Problema

Embora a tutoria seja reconhecida como uma das formas mais eficazes de suporte educacional, o campo enfrenta um gargalo crítico na disponibilidade de dados. Embora muitas plataformas educacionais registrem a atividade dos estudantes, poucas capturam a natureza dinâmica e interacional da tutoria — especificamente como os tutores respondem ao raciocínio, à confusão e ao afeto dos estudantes em tempo real. Os conjuntos de dados existentes são frequentemente pequenos, sintéticos (por exemplo, encenações de papéis realizadas por crowdsourcing) ou limitados em riqueza pedagógica e cobertura de disciplinas. Essa falta de dados em grande escala, autênticos e reutilizáveis restringe tanto a compreensão científica dos processos instrucionais quanto o desenvolvimento de sistemas de IA capazes de apoiar significativamente o ensino e a aprendizagem.

Metodologia e Design

O projeto Milhões de Movimentos de Tutoria (MTM) aborda essas limitações por meio do desenvolvimento do Observatório Nacional de Tutoria (NTO), uma infraestrutura de pesquisa projetada para produzir um repositório seguro, aberto, em grande escala e multimodal de interações de tutoria.

Princípios de Design

O framework MTM é construído sobre cinco princípios centrais:

1. Seguro: Prioriza a privacidade por meio de um pipeline rigoroso de desidentificação. Emprega uma estratégia "escondido à vista" (HIPS), substituindo entidades sensíveis por substitutos contextualmente apropriados, em vez de simples redação. Isso preserva a estrutura gramatical e a coerência semântica dos diálogos, essencial para analisar movimentos instrucionais, ao mesmo tempo que minimiza os riscos de reidentificação.
2. Aberto: Projetado como um recurso de acesso aberto com governança adequada para reduzir barreiras para pesquisadores, educadores e desenvolvedores, facilitando a pesquisa reprodutível e a colaboração entre instituições.
3. Em grande escala: Visa apoiar a robustez estatística e métodos famintos por dados (por exemplo, treinamento de Modelos de Linguagem de Grande Escala) ao escalar para milhões de movimentos de tutoria.
4. Ampla cobertura: Destina-se a abranger múltiplas disciplinas, níveis de série e formatos (um para um, pequenos grupos, chat, vídeo, presencial) para garantir generalizabilidade.
5. Multimodal: Embora o lançamento inicial seja baseado em texto, a visão de longo prazo inclui a integração de áudio, vídeo e rastros de interação (por exemplo, atividade em quadro branco) para capturar a comunicação não verbal e a interação com artefatos compartilhados.

Implementação do MTM v1

O primeiro lançamento, MTM v1, foca em um subconjunto específico e de alta qualidade de dados para servir como ponto de entrada para o repositório mais amplo:

• Fonte de Dados: 4.654 transcrições de tutoria de matemática de uma organização sem fins lucrativos sediada nos EUA (UPchieve) que fornece tutoria online gratuita, 24/7, a estudantes de ensino médio e fundamental de baixa renda.
• Pipeline de Privacidade: Os autores desenvolveram um pipeline de desidentificação interno compatível com os padrões de Porto Seguro de COPPA, FERPA e HIPAA.
  • Detecção de PII: Utiliza dois modelos de rotulagem de sequências baseados em transformadores, DeBERTa-v3-base e ModernBERT-base, ajustados finamente em 1.181 transcrições anotadas. O sistema agrega previsões para alcançar uma precisão de 0,9121, recall de 0,9773 e uma pontuação F1 de 0,9528 em um conjunto de teste retido.
  • Transformação de PII: As Informações Pessoais Identificáveis (PII) detectadas — incluindo nomes, endereços, datas, nomes de escolas e detalhes de contato — são substituídas por substitutos contextualmente apropriados para manter o fluxo do diálogo.
• Escopo: O lançamento é apenas em texto, focando em transcrições de matemática para fornecer um domínio instrucional coerente. É lançado juntamente com o Sandpiper, um aplicativo de anotação de IA de código aberto para estudar essas sessões.

Principais Resultados e Estatísticas do Conjunto de Dados

O MTM v1 representa o maior conjunto de dados de interações de tutoria publicamente disponível até a data. As estatísticas principais incluem:

• Volume: 4.654 sessões de tutoria abrangendo 15 disciplinas de matemática (de matemática do 6º ano até Cálculo AB).
• Dados de Interação: Mais de 4.000 horas de interação, compreendendo 274.121 enunciados e 1.809.815 tokens.
• Distribuição: Os dados capturam uma ampla gama de movimentos instrucionais e padrões de resolução de problemas. Em média, as sessões contêm 58,90 enunciados (33,79 dos tutores, 25,11 dos estudantes) e 388,87 tokens.
• Cobertura de Disciplinas: Inclui matemática do 6º ao 8º ano, Pré-Álgebra até Álgebra Dois, Geometria, Trigonometria, Estatística, Pré-Cálculo, Cálculo AB e Matemática Integrada I–IV.

Significado e Alegações

O artigo posiciona o MTM como um passo fundamental em direção a uma "ciência da tutoria" que atualmente é prejudicada pela escassez de dados. Os autores afirmam que, ao tornar as interações de tutoria sistematicamente observáveis e analisáveis, o MTM visa:

1. Apoiar a Pesquisa: Permitir o estudo rigoroso de processos instrucionais, comportamentos de busca de ajuda, qualidade de explicações e remediação de erros.
2. Melhorar a Prática: Fornecer insights acionáveis para organizações de tutoria e educadores.
3. Avançar a IA: Facilitar o desenvolvimento de sistemas de IA fundamentados em interações educacionais do mundo real, em vez de dados sintéticos ou limitados.

Os autores enfatizam a modéstia em relação ao lançamento atual, observando que o MTM v1 é um passo textual inicial em direção a uma visão mais ampla e multimodal. A contribuição primária do projeto é o estabelecimento de uma infraestrutura segura, aberta e escalável para capturar a complexidade da tutoria humana autêntica.