Exploring Agentic Workflows for Generating High Quality Math Visual Aids
Este artigo introduz um fluxo de trabalho de agentes que permite que Grandes Modelos de Linguagem e Modelos de Linguagem e Visão gerem e refinem iterativamente diagramas matemáticos de alta qualidade e pedagogicamente adequados para a educação K-12, utilizando perguntas de garantia de qualidade autogeradas e feedback visual para superar as limitações atuais de raciocínio espacial e precisão.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está tentando ensinar um robô a desenhar um mapa perfeito de uma ilha do tesouro para uma aula de matemática do ensino fundamental. Você dá ao robô uma descrição detalhada: "Desenhe uma flor feita de hexágonos amarelos, trapézios vermelhos e triângulos verdes". Mas quando o robô lhe entrega o desenho, as pétalas estão esmagadas, as cores estão erradas ou as formas estão faltando inteiramente. É como pedir um bolo personalizado e receber um tijolo torto.
Este é exatamente o problema que os pesquisadores Rizwaan Malik, Ashna Khetan, Isabel Sieh e Samin Khan estão enfrentando. Eles descobriram que mesmo as ferramentas de IA mais inteligentes (chamadas de Modelos de Linguagem de Grande Escala, ou LLMs) ainda são bastante desajeitadas para desenhar esses diagramas matemáticos. De fato, ao serem testadas em problemas de matemática do ensino fundamental, a melhor IA acertou apenas 73,9% das vezes. É uma nota de aprovação, claro, mas não é boa o suficiente se você quiser que cada aluno aprenda perfeitamente.
Então, a equipe tentou um novo truque: eles construíram uma "equipe de robôs de autoaperfeiçoamento". Em vez de apenas pedir para a IA desenhar uma vez e torcer pelo melhor, eles criaram um ciclo onde a IA atua como um professor de arte rigoroso, um detetive e um pintor, tudo ao mesmo tempo.
Veja como o "fluxo de trabalho agêntico" deles (um termo sofisticado para uma equipe de agentes de IA trabalhando juntos) acontece:
- O Pintor: Primeiro, uma IA desenha o diagrama com base na sua descrição.
- O Mestre do Quiz: Em seguida, uma segunda IA (o Gerador de QA) olha para o desenho e escreve um conjunto de quatro perguntas abertas para testá-lo. Em vez de fazer perguntas simples de "Sim/Não" como "Isso é vermelho?", ela faz perguntas mais profundas como: "Como o código garantiu que a barra do cabide fosse perfeitamente horizontal?".
- O Detetive: Depois, uma IA verifica o código de computador usado para desenhar a imagem em relação a essas perguntas. Os pesquisadores descobriram que as IAs de "visão" padrão são, na verdade, ruins em analisar diagramas complexos (elas costumam contar itens errado ou se confundir com o espaço), por isso mudaram para o uso da IA lendo as instruções do código, o que é muito mais confiável para detectar erros.
- O Corretor: Se o desenho falhar no quiz, a IA recebe o feedback e tenta redesenhar. Ela continua repetindo esse processo até que o desenho passe em todos os testes ou até que esgote suas tentativas.
A equipe testou essa ideia e descobriu algumas coisas interessantes. Quando deixaram o "Detetive" olhar tanto para a foto final quanto para o código de computador usado para desenhá-la, especialistas humanos concordaram com a nota da IA 97% das vezes. Isso é um salto enorme em comparação com olhar apenas para a foto (68%) ou apenas para o código (81%). Acontece que ver a planta ajuda você a detectar os erros melhor.
Eles também descobriram que fazer perguntas abertas funcionava muito melhor do que perguntas simples de sim/não. É como pedir a um aluno para "explicar seu raciocínio" em vez de apenas perguntar "você fez?".
No entanto, a equipe tem o cuidado de dizer que isso não é uma varinha mágica que resolveu tudo. Em seus experimentos, mesmo após a IA tentar corrigir o desenho uma vez, 70% dos diagramas ainda precisaram de outra rodada de correção. E mesmo após duas rodadas de correções, a pontuação média humana para os desenhos subiu apenas de 3,4 para 3,7 em uma escala de 5 pontos.
A equipe encontrou alguns obstáculos específicos. Por exemplo, ao tentar desenhar um "cabide equilibrado" (uma ferramenta matemática clássica), a IA continuava espaçando as caixas de suspensão de forma desigual, mesmo após ser instruída a corrigir. A IA conseguia ver o erro, mas não conseguia descobrir como corrigir o código para tornar o espaçamento perfeito. Da mesma forma, a IA às vezes tinha dificuldade em contar o número exato de formas ou verificar se as medições estavam corretas, porque ainda é um pouco ruim em "raciocínio espacial" (entender como as coisas se encaixam no espaço).
Os pesquisadores sugerem que, embora este "ciclo de autoaperfeiçoamento" seja um começo promissor, não está pronto para substituir professores humanos tão cedo. Eles argumentam que sistemas futuros precisam de melhores maneiras de fazer as perguntas certas e de "olhos" melhores para entender as relações espaciais. Mas, por enquanto, essa abordagem mostra que, se você der à IA a chance de verificar seu próprio trabalho e tentar novamente, ela pode ficar um pouco melhor em desenhar os mapas de que os alunos precisam para encontrar seu caminho através da matemática.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.