Using Vision + Language Models to Predict Item Difficulty

Este estudo demonstra que uma abordagem multimodal, combinando recursos visuais e textuais com o modelo GPT-4.1-nano, supera métodos unimodais na previsão da dificuldade de itens de testes de alfabetização em visualização de dados para adultos dos EUA, evidenciando o potencial dos modelos de linguagem para análise psicométrica e desenvolvimento automatizado de itens.

O essencial

Imagine que você é um professor tentando criar um teste de matemática. Você quer saber: "Esta pergunta vai ser muito difícil para os alunos ou eles vão acertar fácil?"

Normalmente, para descobrir isso, você precisa aplicar o teste em centenas de alunos, coletar os resultados e só então saber a dificuldade. É demorado e caro.

O projeto do Samin Khan, descrito neste artigo, tenta resolver esse problema usando uma "inteligência artificial superpoderosa" (chamada de Modelo de Visão e Linguagem) para adivinhar a dificuldade da pergunta antes mesmo de aplicá-la.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Grande Desafio: Ler Gráficos

O foco do estudo é a "alfabetização em visualização de dados". Isso significa: você consegue entender um gráfico, um mapa ou um diagrama?
O problema é que criar perguntas sobre esses gráficos é difícil. Às vezes, o gráfico é bonito, mas a pergunta é confusa. Às vezes, a pergunta é simples, mas o gráfico é um caos. Como saber o quão difícil é a combinação dos dois?

2. Os Três "Detetives" (Os Modelos de IA)

O pesquisador criou três versões de uma IA (usando o modelo GPT-4) para atuar como detetives e tentar prever a dificuldade. Eles foram treinados para olhar para as perguntas de três jeitos diferentes:

• O Detetive "Só Texto" (Modelo Text-only):

  • Como funciona: Ele lê apenas a pergunta e as opções de resposta, ignorando completamente a imagem.
  • A analogia: É como tentar adivinhar se um filme é de terror apenas lendo o roteiro, sem nunca ter visto as cenas de susto ou os efeitos especiais.
  • Resultado: Ele errou bastante. A IA achou que muitas perguntas eram fáceis, mas na verdade eram difíceis porque o gráfico era complicado.

• O Detetive "Só Imagem" (Modelo Vision-only):

  • Como funciona: Ele olha apenas para o gráfico, sem ler a pergunta.
  • A analogia: É como olhar para uma pintura abstrata e tentar adivinhar se ela é fácil de entender, sem saber qual é a pergunta que o artista quer fazer.
  • Resultado: Ele também errou. Às vezes, o gráfico parece simples, mas a pergunta pede um raciocínio muito complexo que a IA não viu.

• O Detetive "Super-Herói" (Modelo Multimodal):

  • Como funciona: Ele olha para ambos ao mesmo tempo: a imagem E a pergunta.
  • A analogia: É como assistir ao filme completo, vendo a ação, ouvindo o diálogo e entendendo como a música e a atuação se misturam. Ele entende a "conversa" entre o gráfico e a pergunta.
  • Resultado: Este foi o vencedor! Ele acertou muito mais.

3. O Resultado da Corrida

O estudo mediu o erro de cada detetive (quanto a previsão deles se afastou da realidade).

• O Detetive "Só Texto" foi o pior.
• O Detetive "Só Imagem" foi mediano.
• O Detetive "Super-Herói" (Multimodal) foi o melhor, com o menor erro.

A lição principal: Para entender se uma pergunta sobre um gráfico é difícil, você não pode separar a imagem do texto. Eles trabalham juntos, como uma dança. Se a IA olhar apenas para um parceiro da dança, ela perde o ritmo. Se olhar para os dois, ela entende a coreografia.

4. Por que isso é importante? (O "E daí?")

Se conseguirmos usar essa IA para prever a dificuldade das perguntas:

• Economia de tempo: As escolas e empresas não precisam testar milhares de pessoas para saber se uma pergunta é boa. A IA faz uma "pré-avaliação".
• Melhores testes: Podemos criar perguntas que são justas, nem muito fáceis (chato) nem muito difíceis (desanimador).
• Design melhor: Ajuda os designers a saberem que, se mudarem a cor do gráfico ou a forma da pergunta, a dificuldade muda.

5. O "Mas..." (Limitações)

O projeto não foi perfeito.

• O problema do formato: A IA tinha dificuldade em ler certos tipos de arquivos de imagem (chamados SVG, que são gráficos vetoriais). Para essas 6 perguntas, o pesquisador teve que chutar um valor médio (como se fosse um "palpite aleatório"), o que baixou um pouco a pontuação final.
• Dependência: Eles usaram apenas uma ferramenta específica (GPT-4). Pode ser que outras IAs funcionem melhor ou piores.

Resumo Final

Este projeto mostrou que, para entender a dificuldade de um teste sobre gráficos, precisamos olhar para a imagem e ler o texto ao mesmo tempo. A Inteligência Artificial, quando consegue fazer essa "leitura dupla", consegue prever com muita precisão se uma pergunta será fácil ou difícil para as pessoas. É um passo gigante para automatizar a criação de testes inteligentes no futuro.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Using Vision + Language Models to Predict Item Difficulty", escrito em português:

Resumo Técnico: Uso de Modelos de Visão e Linguagem para Prever Dificuldade de Itens

1. Problema e Contexto

A literacia em visualização de dados (DVL) é uma habilidade crítica na sociedade moderna, mas a criação de itens de teste padronizados, confiáveis e bem calibrados para avaliar essa competência é um desafio complexo. Um aspecto fundamental da avaliação psicométrica é prever a dificuldade do item (definida como a proporção de respondentes que respondem corretamente). O desenvolvimento manual desses itens é demorado e caro.

O objetivo deste projeto é investigar se Modelos de Linguagem de Grande Escala (LLMs) multimodais podem prever com precisão a dificuldade de itens de teste de DVL baseando-se nas características intrínsecas do item: o texto da pergunta/opções, a imagem da visualização de dados ou a combinação de ambos.

2. Metodologia

• Dados:

  • Utilizou-se um conjunto de dados coletado por Verma e Fan (2025), contendo respostas de adultos e estudantes universitários dos EUA a itens de cinco avaliações de DVL (WAN, GGR, BRBF, VLAT, CALVI).
  • A métrica de dificuldade foi calculada como a proporção de respostas incorretas (escala de 0 a 1), sendo a "facilidade" definida como $1 - \text{dificuldade}$.
  • O conjunto de dados foi dividido em 80% para validação (subconjunto filtrado de 154 itens com imagens PNG) e 20% para teste (46 itens).

• Modelo:

  • Foi utilizado o modelo GPT-4.1-nano via API da OpenAI.
  • Foram desenvolvidos três abordagens distintas de modelagem, estruturadas com modelos Pydantic para garantir extração JSON confiável:
    1. Apenas Texto: Analisou apenas o texto da pergunta e as opções de resposta, considerando clareza, tipo de tarefa cognitiva e plausibilidade de distratores.
    2. Apenas Visão: Analisou apenas a URL da imagem, considerando tipo de gráfico, clareza de eixos, complexidade visual e legibilidade.
    3. Multimodal (Visão + Texto): Analisou simultaneamente a imagem, o texto e as opções, avaliando a interação entre os elementos visuais e as demandas textuais.

• Avaliação:

  • O desempenho foi medido pelo Erro Absoluto Médio (MAE) entre a facilidade prevista e a real no conjunto de validação.
  • O modelo multimodal foi selecionado para avaliação externa em um conjunto de teste mantido (held-out test set), onde o desempenho foi medido pelo Erro Quadrático Médio (MSE).

3. Resultados Principais

• Comparação de Desempenho (Conjunto de Validação):

  • O modelo Multimodal obteve o melhor desempenho com um MAE de 0,224.
  • O modelo Apenas Visão teve um MAE de 0,282.
  • O modelo Apenas Texto teve o pior desempenho com um MAE de 0,338.
  • Análise: O modelo multimodal demonstrou que a combinação de características visuais e textuais oferece uma previsão mais precisa do que qualquer modalidade isolada. O modelo de apenas visão tendeu a superestimar a facilidade (picos em 0,85-0,9), enquanto o de texto teve uma distribuição mais espalhada.

• Validação Externa (Conjunto de Teste):

  • O modelo multimodal foi aplicado a 40 itens do conjunto de teste (4 itens SVG foram excluídos e receberam uma previsão padrão de 0,5 devido a limitações da API).
  • O modelo alcançou um MSE de 0,10805 no conjunto de teste não visto, demonstrando capacidade de generalização.

4. Contribuições e Significância

• Validação da Abordagem Multimodal: O estudo confirma empiricamente que a dificuldade cognitiva de itens de DVL é melhor compreendida através da interação entre o texto e a visualização, e não isoladamente.
• Automação Psicométrica: Demonstra a viabilidade de usar LLMs modernos para automatizar a análise psicométrica e o desenvolvimento de itens de teste, potencialmente acelerando o processo de criação de avaliações educacionais.
• Insights Cognitivos: A análise do modelo sugere que a interdependência entre a complexidade visual e as demandas textuais é um fator chave para a dificuldade do item, oferecendo diretrizes para o design de materiais educacionais mais eficazes.

5. Limitações e Trabalhos Futuros

• Limitações de Formato: A incapacidade de processar diretamente arquivos .svg forçou o uso de uma previsão padrão (0,5) para 6 itens, o que pode ter impactado negativamente o MSE final.
• Dependência de Modelo Proprietário: O uso de um único modelo (GPT-4.1-nano) limita a generalização dos resultados para outras arquiteturas.
• Falta de Incerteza: O modelo atual fornece apenas uma previsão pontual, sem estimativas de incerteza, o que seria valioso para aplicações práticas.
• Futuro: Pesquisas futuras devem focar na conversão de formatos de imagem, comparação com técnicas psicométricas tradicionais e exploração de estratégias de fine-tuning em LLMs.

Em suma, este trabalho estabelece um precedente para o uso de IA multimodal na otimização de avaliações de literacia em visualização de dados, mostrando que a combinação de visão e linguagem supera abordagens unimodais na previsão de dificuldade de itens.