Atom Learning Model (ALM): how a real classroom got tokenised
Este artigo descreve o Atom Learning Model (ALM), um sistema que tokenizou dois livros didáticos de matemática em um grafo de pré-requisitos de 1.934 etapas de aprendizagem para gerar questões personalizadas para 373 alunos a um baixo custo, ao mesmo tempo em que revelou descobertas inesperadas, como o alto custo de estabelecer vínculos, a incapacidade dos modelos de linguagem de prever a dificuldade das questões e o fato de que a implementação do sistema parou pouco antes de testar sua premissa central.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Em uma sala de aula típica, um professor está diante de trinta alunos, todos aproximadamente da mesma idade, e tenta ensinar uma única lição. O desafio é que nenhum par de crianças naquela sala está exatamente no mesmo estágio de seu aprendizado. Uma pode estar pronta para resolver um quebra-cabeça complexo, enquanto outra ainda está lutando com as peças básicas. Como o professor não consegue saber instantaneamente o nível de habilidade preciso de cada aluno, a lição é ajustada em um ponto médio, deixando alguns entediados e outros perdidos. Por décadas, os educadores tentaram resolver isso agrupando os alunos com base em sua habilidade geral, mas isso apenas estreita a lacuna ligeiramente; ainda trata trinta crianças como uma única unidade, em vez de trinta indivíduos. O problema central é uma falta de resolução: as escolas têm um mapa do que precisa ser aprendido, mas carecem de uma forma de localizar exatamente onde cada criança se encontra nesse mapa em qualquer momento dado.
Esta é a lacuna que um novo sistema chamado Modelo de Aprendizagem Atômica (Atom Learning Model) tenta preencher. A ideia é decompor uma disciplina escolar, como a matemática, em seus passos mais ínfimos possíveis, chamados de "átomos". Imagine uma habilidade como resolver uma equação não como uma tarefa única e monolítica, mas como uma cadeia de pequenas ações distintas: saber multiplicar, saber subtrair, saber reorganizar uma linha. Se um aluno consegue fazer as três primeiras, mas falha na quarta, o sistema sabe exatamente onde está a quebra na corrente. Ao mapear esses pequenos passos e a ordem em que devem ser aprendidos, o sistema pode, teoricamente, entregar a cada criança uma folha de exercícios perfeitamente ajustada logo além do que ela já sabe. Essa abordagem promete mover a educação para longe de séries escolares rígidas e em direção a um modelo onde os alunos progridem em seu próprio ritmo, dominando um pequeno passo antes de passar para o próximo.
Um pesquisador do Imperial College London, liderado por Philipp Bogdan, testou essa ideia em um cenário do mundo real ao longo de sete semanas em duas escolas secundárias na Inglaterra. Eles não escreveram o currículo ou as questões à mão. Em vez disso, alimentaram um sistema de computador com dois livros didáticos de matemática padrão e pediram que ele lesse as páginas, extraísse as habilidades e construísse um mapa de conhecimento massivo e interconectado. O sistema processou 757 páginas de texto e as transformou em 1.934 "átomos" distintos, cada um representando uma única coisa que um aluno pode fazer. Ele então dedicou a maior parte de seu esforço para descobrir como esses átomos se conectam, criando mais de 4.600 links que mostram quais habilidades devem ser aprendidas antes de outras. Essa estrutura permitiu que o computador gerasse milhares de perguntas únicas, adaptadas a combinações específicas dessas pequenas habilidades, e as servisse a 373 alunos.
Os resultados deste experimento foram surpreendentes e desafiaram várias suposições comuns sobre como o aprendizado funciona. Primeiro, os pesquisadores descobriram que um modelo de computador olhando para uma questão não conseguia prever o quão difícil ela seria para um aluno. O sistema havia atribuído rótulos de dificuldade às questões, mas quando compararam esses rótulos com o desempenho real dos alunos, os rótulos foram completamente inúteis. A dificuldade de uma questão, descobriram eles, não é uma propriedade fixa da própria questão. Em vez disso, a dificuldade é uma relação entre a questão e o aluno específico que a responde. Uma questão só é difícil se o aluno carecer dos pequenos passos específicos necessários para resolvê-la. Isso significa que um professor ou um computador não pode simplesmente olhar para um problema e dizer que ele é "difícil"; eles só podem saber que ele é difícil para uma criança específica que carece dos passos de base necessários.
Outra descoberta inesperada diz respeito à velocidade do feedback. Os pesquisadores mediram quanto tempo os alunos esperavam para que suas respostas fossem corrigidas e como esse tempo de espera afetava sua disposição para continuar trabalhando. Eles descobriram que, se um aluno tivesse que esperar apenas sete segundos para receber uma marcação, ele era significativamente menos propenso a iniciar a próxima questão em comparação com se esperasse apenas três segundos. Esse pequeno atraso, que a maioria dos educadores consideraria negligenciável, foi suficiente para quebrar o ímpeto do aluno. Isso sugere que, em um ambiente de aprendizagem digital, a velocidade do sistema é tão crítica para o engajamento quanto a qualidade das questões.
Talvez a limitação mais significativa do estudo tenha sido que o sistema nunca testou de fato sua teoria mais profunda. A premissa central do Modelo de Aprendizagem Atômica é que a dificuldade vem da profundidade da cadeia de habilidades que um aluno não possui. Para provar isso, o sistema precisaria servir questões que exigissem que o aluno atravessasse um hiato de três ou quatro passos ausentes. No entanto, no teste de sete semanas, o sistema quase nunca serviu uma questão que fosse além de dois passos de profundidade. O pesquisador admitiu que a parte mais importante de sua teoria — a ideia de que a dificuldade é puramente sobre o que está faltando — permaneceu não testada porque o sistema nunca fez as perguntas difíceis que deveriam tê-lo provado. O sistema funcionou bem para questões superficiais, mas o teste definitivo de se ele pode guiar um aluno através de um hiato profundo de conhecimento foi deixado para o futuro.
Apesar dessas limitações, o experimento forneceu um olhar concreto sobre o que um currículo totalmente tokenizado poderia custar e como ele poderia funcionar. Todo o processo de leitura dos livros didáticos e construção do mapa de habilidades custou entre £615 e £1.230, um investimento único. Uma vez construído, o sistema gerou mais de 6.000 questões para os alunos a um custo de cerca de 26 pence por questão. O estudo mostrou que é possível automatizar a criação de um caminho de aprendizagem personalizado sem que professores humanos escrevam cada problema. No entanto, o pesquisador foi cuidadoso ao notar que o sistema ainda não substituía o professor. O mapa de habilidades existia e as questões eram geradas, mas o sistema ainda não utilizava os dados de desempenho em tempo real dos alunos para decidir o que mostrar a eles a seguir. As pontuações eram calculadas após o fato, o que significa que os alunos não estavam sendo realmente guiados pelo potencial total do sistema durante o teste.
A visão que emerge deste trabalho é uma onde o conceito de "série escolar" torna-se obsoleto. Se um sistema sabe exatamente qual pequeno passo uma criança dominou e qual ela está perdendo, não há necessidade de manter trinta crianças juntas em uma única sala esperando que o resto da classe alcance o nível. Uma criança poderia percorrer o material em seu próprio ritmo, passando nove meses em um nível se necessário, ou percorrendo-o em seis meses se estiver pronta. O exame, atualmente um evento logístico onde todos se sentam ao mesmo tempo, poderia tornar-se um marco pessoal que o aluno realiza sempre que estiver pronto. O Modelo de Aprendizagem Atômica não alcançou esse futuro no teste de sete semanas, mas construiu a primeira ponte real em direção a ele, mostrando que a infraestrutura para tal sistema pode ser construída, mesmo que a água ainda não tenha fluído por ela.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.