Sketch2Feedback: Grammar-in-the-Loop Framework for Rubric-Aligned Feedback on Student STEM Diagrams

O artigo apresenta o Sketch2Feedback, um framework que integra gramática em um ciclo de feedback para gerar críticas rubricadas e confiáveis sobre diagramas de STEM, superando as alucinações dos modelos multimodais end-to-end ao decompor o processo em etapas de percepção híbrida, construção de grafos simbólicos e verificação de restrições.

O essencial

Imagine que você é um professor de física ou engenharia elétrica. Você tem 30 alunos, cada um desenhando um diagrama à mão (como um circuito elétrico ou as forças atuando em um objeto). Seu trabalho é corrigir esses desenhos e dar um feedback útil. Mas você só tem tempo para corrigir 3 desenhos por dia!

O problema é que os desenhos dos alunos são bagunçados, tortos e cheios de detalhes. Como um computador pode ajudar a corrigir isso automaticamente?

Aqui está a história do Sketch2Feedback, explicada de forma simples:

O Grande Problema: O "Aluno" que Alucina

Recentemente, surgiram super-inteligências artificiais (chamadas de Modelos Multimodais Grandes) que conseguem "ver" imagens e falar sobre elas. A ideia era simples: mostrar o desenho do aluno para a IA e pedir: "O que está errado aqui?".

O problema é que essas IAs são como alunos muito confiantes, mas que não estudaram o suficiente. Elas tendem a "alucinar". Ou seja, elas podem olhar para um desenho e dizer com toda a certeza: "Ah, você esqueceu de colocar a força da gravidade!", mesmo que a força esteja lá. Isso é perigoso na sala de aula, porque se o professor confiar na IA, ela vai dar notas erradas e confundir os alunos.

A Solução: O Sistema de "Gramática na Malha"

Os autores criaram um sistema chamado Sketch2Feedback. Em vez de deixar a IA "adivinhar" o que está errado, eles criaram um processo de 4 etapas, como uma linha de montagem de uma fábrica de correção.

Vamos usar uma analogia de Detetives e Advogados:

1. O Detetive (Percepção Híbrida):
   Primeiro, uma ferramenta clássica e rígida (como um scanner de código de barras) olha para o desenho. Ela não "pensa", ela apenas mede: "Há uma seta aqui? Há um fio ali? Há uma bateria?". Ela é como um detetive que só anota o que vê fisicamente, sem inventar histórias.

2. O Arquiteto (Construção do Gráfico Simbólico):
   O detetive passa a lista de coisas que encontrou para um arquiteto. O arquiteto organiza tudo em um mapa lógico: "A bateria está conectada ao fio? A seta aponta para cima?".

3. O Juiz (Verificação de Regras):
   Aqui entra a "Gramática". O Juiz tem um livro de regras (o gabarito da prova). Ele compara o mapa do Arquiteto com as regras.

   • Exemplo: "A regra diz que todo circuito precisa de um fio terra. O mapa diz que não tem. Logo, há um erro."
   • O Juiz só aponta o erro se a regra for violada. Ele não deixa a IA inventar nada.

4. O Redator (Feedback da IA):
   Só agora, a Inteligência Artificial (o Redator) entra em cena. Mas ela não olha o desenho original. Ela recebe apenas a lista de erros que o Juiz aprovou.

   • A mágica: Como a IA só recebe a lista de erros reais, ela não pode alucinar. Ela não pode inventar um erro que o Juiz não viu. Ela apenas transforma a lista técnica em uma explicação amigável para o aluno: "Ei, você esqueceu o fio terra! Adicione-o aqui."

O Que Eles Descobriram? (Resultados Mistos)

Os pesquisadores testaram esse sistema em dois tipos de desenho: Diagramas de Força (Física) e Esquemas de Circuitos (Eletricidade).

• Nos Circuitos Elétricos: O sistema novo (Detetive + Juiz + Redator) foi fantástico. Ele foi muito melhor que a IA sozinha. Por quê? Porque circuitos são lógicos e rígidos. Ou o fio está conectado, ou não está. O sistema de regras funciona perfeitamente aqui.
• Nos Diagramas de Força: A IA sozinha (o "aluno confiante") foi um pouco melhor em encontrar erros. Por quê? Porque em física, às vezes a relação entre as coisas é mais visual e espacial, e a IA consegue "sentir" o desenho melhor do que um scanner rígido.

A Grande Lição:
O sistema novo tem um superpoder: Diagnóstico.
Se o sistema novo erra, os pesquisadores sabem exatamente onde foi:

• Foi o Detetive que não viu o objeto? (Problema de visão).
• Foi o Juiz que aplicou a regra errada? (Problema de lógica).
• Foi o Redator que explicou mal? (Problema de linguagem).

Com a IA sozinha, se ela erra, você não sabe se foi porque ela não viu, porque não entendeu ou porque alucinou. É uma "caixa preta". Com o Sketch2Feedback, é como ter um motor de carro onde você sabe exatamente qual peça precisa ser trocada.

Resumo Final

O Sketch2Feedback é como colocar um filtro de segurança na frente de uma IA. Em vez de deixar a IA "chutar" o que está errado no desenho do aluno, a gente usa regras rígidas para garantir que o erro seja real antes de pedir para a IA explicar.

Isso cria um sistema mais confiável para escolas, onde o professor pode confiar que, se a máquina diz "está errado", realmente está errado, e não é apenas uma alucinação de um robô muito confiante.

Resumo técnico

Título: Sketch2Feedback: Um Framework "Grammar-in-the-Loop" para Feedback Alinhado a Rubricas em Diagramas de STEM Estudantis

1. O Problema

O fornecimento de feedback formativo oportuno e alinhado a rubricas em diagramas desenhados à mão por estudantes (como diagramas de corpo livre em física e esquemas de circuitos em engenharia elétrica) é um desafio persistente na educação STEM.

• Limitações dos Modelos Atuais: Embora os Grandes Modelos Multimodais (LMMs) possam analisar imagens e gerar explicações, eles sofrem de alucinações (descrever elementos que não existem), o que mina a confiança em ambientes de sala de aula.
• Gargalo Fundamental: A pesquisa identifica que o gargalo não é a qualidade da geração de texto, mas a confiabilidade da percepção. Modelos end-to-end frequentemente descrevem erros com confiança mesmo quando o elemento não está presente no diagrama.

2. Metodologia: O Framework Sketch2Feedback

O autores propõem o Sketch2Feedback, um pipeline leve que separa a percepção visual do raciocínio simbólico e da geração de linguagem. A arquitetura segue o conceito de "Grammar-in-the-Loop" (Gramática no Loop), onde o modelo de linguagem (VLM) só pode verbalizar violações que foram verificadas por um motor de regras a montante.

O pipeline consiste em quatro estágios:

1. Detecção Híbrida de Primitivas (Percepção): Combina técnicas clássicas de Visão Computacional (CV) para robustez:
   • Normalização de contraste (CLAHE) e limiarização adaptativa.
   • Análise de contornos para setas/forças (filtragem por solidez e razão de aspecto).
   • HoughLinesP para fios.
   • Classificação baseada em forma para componentes e detecção de nós (junções).
   • Supressão de não-máximos (NMS) para deduplicação.
2. Construção de Grafo Simbólico: Os primitivos detectados formam um grafo tipado $G = (V, E)$, onde nós possuem tipo, confiança e caixa delimitadora, e arestas representam proximidade espacial.
3. Verificação de Restrições (Constraint Checking): Predicados lógicos são aplicados ao grafo com base na "chave do cenário" (o diagrama correto esperado).
   • Restrições Locais: Forças presentes, direções consistentes, polaridade correta, presença de terra.
   • Restrições Não-Locais: Equilíbrio de forças aproximado e semântica de junções.
4. Geração de Feedback Constrained: Um VLM compacto (Qwen2-VL-2B) recebe apenas a lista de violações verificadas e a imagem. O modelo não tem liberdade para "adivinhar" erros; ele apenas verbaliza o que o motor de restrições detectou. Se o motor não detectar erro, o feedback é que o diagrama está correto.

3. Principais Contribuições

1. Novos Benchmarks Micro:
   • FBD-10: 200 diagramas de corpo livre (10 cenários) com taxonomia de erros controlada.
   • Circuit-10: 200 esquemas de circuitos (10 topologias) com erros injetados.
   • Ambos incluem caixas delimitadoras em nível de pixel e chaves de rubrica.
2. Pipeline Arquitetural: Uma abordagem de quatro estágios que troca recall (cobertura) por precisão, garantindo que o feedback seja fundamentado em evidência simbólica.
3. Avaliação Multi-Objetivo: Métricas abrangentes incluindo F1, qualidade do feedback (Likert), taxa de alucinação, calibração (ECE) e latência, todos com intervalos de confiança bootstrap de 95%.
4. Análise Honesta de Resultados: Demonstração de que nenhuma arquitetura domina em todos os domínios, revelando forças complementares que motivam abordagens de ensemble.

4. Resultados Experimentais

Os resultados foram comparados entre o pipeline Sketch2Feedback (Qwen2-VL-2B), um LMM end-to-end (LLaVA-1.5-7B) e um detector apenas de visão (sem VLM).

• Desempenho em Diagramas de Corpo Livre (FBD-10):
  • O modelo End-to-End (LLaVA) superou o pipeline de gramática.
  • Micro-F1: 0.471 (LLaVA) vs. 0.263 (Grammar).
  • O LLaVA foi melhor na detecção de forças ausentes, enquanto o pipeline de gramática falhou nessa categoria específica.
• Desempenho em Circuitos (Circuit-10):
  • O Pipeline de Gramática superou drasticamente o LLaVA.
  • Micro-F1: 0.329 (Grammar) vs. 0.038 (LLaVA).
  • O LLaVA falhou quase totalmente em entender a topologia de circuitos.
  • Qualidade do Feedback: O pipeline de gramática atingiu perfeita acionabilidade (5.0/5) em circuitos, pois o feedback é gerado a partir de templates estruturados baseados nas violações detectadas.
• Taxa de Alucinação e Atribuição de Falha:
  • O pipeline de gramática teve uma alta taxa de alucinação em circuitos (0.925), mas a análise de logs revelou que isso foi causado por falsos positivos no módulo de percepção clássica (CV), e não por alucinação do VLM.
  • Isso demonstra a diagnosticabilidade do sistema: a falha foi localizada com precisão no Estágio 1, permitindo correções direcionadas (ex: trocar o detector clássico por um aprendido), algo impossível em sistemas end-to-end.

5. Significado e Conclusão

• Arquitetura vs. Domínio: Não existe uma solução única. Para diagramas baseados em relações espaciais complexas (FBD), a compreensão visual holística (LMM) é superior. Para diagramas baseados em lógica simbólica e topologia (Circuitos), a verificação baseada em regras (Grammar-in-the-Loop) é superior.
• Valor da Modularidade: A principal vantagem do Sketch2Feedback não é apenas a precisão, mas a transparência. O sistema permite atribuir falhas a estágios específicos (percepção vs. geração), o que é crucial para a confiança em aplicações educacionais.
• Gargalo de Percepção: O estudo conclui que a percepção visual (detecção de componentes e linhas) é o gargalo principal. O próximo passo lógico é substituir a detecção clássica por detectores aprendidos (como YOLO ou DETR) fine-tuned para diagramas.
• Relevância: O framework oferece um caminho viável para feedback automatizado confiável em STEM, equilibrando a flexibilidade da IA generativa com a segurança e precisão das regras simbólicas.

O artigo disponibiliza os datasets, o código de avaliação e os prompts para reprodução e futuros trabalhos.