Fine-Tuning Large Language Models for Codebook-Guided Coding of Students' Mathematics Metaphor Responses

Imagine que você é um detetive tentando resolver um mistério, mas em vez de impressões digitais, você está procurando pistas na maneira como as pessoas falam sobre seus sentimentos. No mundo da educação, pesquisadores costumam pedir aos alunos que escrevam seus pensamentos com suas próprias palavras — como, "Se a matemática fosse uma comida, o que ela seria?". Essas respostas abertas são minas de ouro para entender como as crianças se sentem em relação à escola, mas são um pesadelo para ler uma por uma. Leva muito tempo para especialistas humanos lerem milhares dessas histórias e classificá-las em categorias, como "feliz", "frustrado" ou "confuso". É aqui que a Inteligência Artificial (IA) entra. Especificamente, os Grandes Modelos de Linguagem (LLMs) são como robôs superinteligentes que conseguem ler e entender a linguagem humana. A grande questão que os pesquisadores têm feito é: Podemos ensinar esses robôs a agir como detetives humanos especialistas? E, se o fizermos, podemos fazê-los trabalhar em nossos próprios computadores para manter os segredos dos alunos seguros, em vez de enviar dados privados para grandes empresas de tecnologia?

Este estudo mergulha exatamente nessa questão. Os pesquisadores pegaram uma coleção de 2.265 respostas reais de alunos sobre metáforas matemáticas e ensinaram dois modelos de IA menores e de código aberto a codificá-las exatamente como um especialista humano faria. Eles usaram uma técnica especial de treinamento chamada "ajuste fino" (fine-tuning), que é como dar ao robô um curso intensivo usando as chaves de resposta dos especialistas humanos. Os resultados foram surpreendentes: após esse treinamento, os modelos de IA menores e mais baratos tornaram-se tão bons no trabalho que frequentemente venceram os modelos massivos, caros e de "caixa-preta" que as empresas costumam vender. O estudo sugere que, com o treinamento certo, podemos ter ferramentas de IA poderosas, privadas e precisas diretamente em nossas próprias salas de aula para ajudar a entender como os alunos se sentem em relação à matemática, sem precisar enviar seus dados para lugar nenhum.

O Dilema do Detetive: Ler nas Entrelinhas

Pense na metáfora de um aluno como um código secreto. Quando um aluno diz, "A matemática é como um cachorro porque é um amigo leal", ele não está apenas falando de animais de estimação; ele está nos dizendo que se sente seguro e feliz com a matemática. Mas se ele disser, "A matemática é como um mosquito porque não me deixa em paz", ele está dizendo que a matemática é irritante e inescapável. Esses são sentimentos complexos envoltos em palavras simples.

Por décadas, os pesquisadores confiaram em especialistas humanos para decodificar essas mensagens. É um pouco como ter uma equipe de tradutores tentando traduzir uma biblioteca de livros manualmente. É lento, caro e difícil de escalar. Se você tem 100 alunos, um humano consegue fazer. Se você tem 100.000, os humanos ficam cansados e o processo para.

Entra o Grande Modelo de Linguagem (LLM). Você pode pensar em um LLM como um robô que leu quase tudo na internet. Ele é incrivelmente bom em adivinhar o que vem a seguir em uma frase e entender o contexto. Mas, assim como um aluno inteligente que não fez a aula específica que você está ensinando, um robô genérico pode não saber exatamente como você quer que ele classifique essas metáforas. Ele pode adivinhar "feliz" quando você queria "neutro", ou pode perder a sutil diferença entre "desafiador" e "ameaçador".

Além disso, há um problema de privacidade. A maioria dos robôs superpoderosos (como os das grandes empresas de tecnologia) vive em seus servidores. Para usá-los, você tem que enviar a escrita privada de seus alunos para eles. Para as escolas, isso é como entregar um diário cheio de segredos a um estranho. Os pesquisadores queriam saber se poderiam construir um robô que viva no seu próprio computador, seja treinado especificamente para o trabalho e mantenha os segredos seguros.

O Experimento: Ensinando as Regras ao Robô

Os pesquisadores organizaram uma corrida. De um lado, tinham os campeões das "Big Techs": dois modelos proprietários poderosos (GPT-4o mini e GPT-5 mini) que foram usados "como estão". Eles receberam um conjunto de regras (um livro de códigos) e foram solicitados a classificar as metáforas dos alunos. Eles não receberam nenhum treinamento especial; apenas tiveram que descobrir sozinhos a partir das instruções.

Do outro lado, tinham dois modelos de "Pesos Abertos" (DeepSeek-R1 1.5B e Mistral 7B). Estes são modelos menores e menos caros que qualquer pessoa pode baixar e rodar em seus próprios servidores. Os pesquisadores pegaram esses modelos e deram a eles um "curso intensivo" usando uma técnica de ajuste fino supervisionado baseada em LoRA.

Imagine que você está ensinando um cachorro a buscar a bola. O método "apenas prompt" é como apenas dizer ao cachorro, "Busca a bola!" repetidamente. O método de "ajuste fino" é como levar o cachorro a um campo de treinamento onde você mostra exatamente como ele deve agarrar a bola, trazê-la de volta e soltá-la em sua mão, usando mil exemplos de um humano fazendo isso perfeitamente. Os pesquisadores alimentaram os modelos de pesos abertos com 2.265 exemplos de metáforas de alunos que já haviam sido corretamente classificados por especialistas humanos. Os modelos aprenderam a imitar as decisões dos especialistas humanos.

A tarefa tinha duas partes:

1. Codificação de Valência-Intensidade: Qual é a força do sentimento? É muito negativo (1), neutro (3) ou muito positivo (5)?
2. Codificação Temática: Qual é a história? A matemática é uma "ferramenta", uma "ameaça", uma "jornada" ou uma "tarefa chata"?

Os Resultados: Os Azarões Venceram

Os resultados da corrida foram claros e empolgantes. Antes do treinamento, os modelos menores de pesos abertos eram terríveis no trabalho. Eles estavam apenas adivinhando de forma desenfreada. Mas, após o "curso intensivo" (ajuste fino), eles se transformaram.

O Salto de Desempenho:
Os modelos ajustados não ficaram apenas um pouco melhores; eles ficaram muito melhores.

• Para as metáforas de "comida", a precisão do modelo DeepSeek saltou de 0,369 para 0,787.
• A precisão do modelo Mistral nas metáforas de comida foi de 0,207 para 0,778.
• Nas metáforas de "animais", o modelo Mistral melhorou de 0,267 para 0,766.

No mundo da IA, esses números são enormes. Isso significa que os robôs treinados agora concordavam com os especialistas humanos quase tanto quanto dois especialistas humanos concordam entre si.

Vencendo os Gigantes:
Aqui está a reviravolta: os modelos menores e treinados, na verdade, venceram os modelos grandes, caros e de "apenas prompt" em muitas categorias.

• O modelo Mistral 7B ajustado superou tanto o GPT-4o mini quanto o GPT-5 mini em quase todas as métricas para ambas as metáforas de comida e animais.
• A única vez que os modelos grandes venceram foi em temas muito raros e específicos, onde os modelos menores ainda tinham dificuldade, mas mesmo assim, a diferença era pequena.

O Teste de "Estabilidade":
Um dos maiores problemas da IA é que, se você fizer a mesma pergunta duas vezes, ela pode dar duas respostas diferentes. Isso é ruim para a ciência. Os pesquisadores testaram isso executando os modelos três vezes.

• O modelo DeepSeek não treinado era muito instável, com um índice de estabilidade de apenas 0,592.
• Mas, após o treinamento, sua estabilidade disparou para 0,992.
• O modelo Mistral ajustado foi perfeito, pontuando 1,000.
• Mesmo os grandes modelos comerciais não foram tão estáveis quanto os modelos abertos treinados (o GPT-5 mini pontuou 0,644 em estabilidade temática).

Isso sugere que treinar o modelo em exemplos específicos o torna não apenas mais inteligente, mas também mais consistente e confiável.

O Que Isso Significa para o Futuro

O estudo sugere que não precisamos depender de sistemas de IA massivos, caros e com riscos à privacidade para analisar os sentimentos dos alunos. Ao pegar modelos menores e abertos e ensiná-los com exemplos humanos, podemos criar ferramentas que são:

1. Precisas: Elas combinam com especialistas humanos.
2. Privadas: Podem rodar no próprio computador de uma escola, mantendo os dados dos alunos seguros.
3. Escaláveis: Podem lidar com milhares de respostas em segundos.

No entanto, os pesquisadores alertam que isso não é uma varinha mágica para tudo. Os modelos ainda tiveram dificuldades com temas muito raros (como visões sociais específicas sobre a matemática), sugerindo que, se um tópico é muito incomum, o robô pode precisar de ainda mais exemplos para aprender. Além disso, o estudo olhou apenas para alunos do 6º ao 8º ano falando sobre comida e animais, então ainda não sabemos se funciona para alunos do ensino médio falando sobre álgebra ou estudantes universitários falando sobre cálculo.

Mas a principal conclusão é esperançosa: podemos construir nossos próprios "robôs detetives" que são inteligentes, seguros e prontos para ajudar os professores a entender os sentimentos ocultos nas palavras de seus alunos. O futuro da medição educacional pode não estar na nuvem, mas ali mesmo, no servidor da escola, treinado pelos próprios especialistas que melhor conhecem os alunos.