Resumo Técnico: Testando a Validade da Similaridade e Agrupamento Baseados em Embeddings para Soluções de Física Manuscritas

Declaração do Problema

Na educação em física, uma avaliação significativa exige a análise do caminho da solução — não apenas a resposta final — para avaliar o insight conceitual, a modelagem matemática e a coordenação de diagramas e equações. Embora existam sistemas automatizados, eles frequentemente restringem as respostas a múltipla escolha ou respostas algébricas de forma fechada, falhando em capturar a amplitude do raciocínio do estudante. Soluções manuscritas permanecem como o padrão ouro para exames de alto risco, mas são trabalhosas para serem corrigidas em escala.

Avanços recentes em Grandes Modelos de Linguagem (LLMs) e embeddings de texto oferecem uma alternativa computacionalmente eficiente para organizar e comparar grandes coleções de texto. Métodos baseados em embeddings mapeiam o texto para espaços vetoriais de alta dimensão, permitindo que similaridades de pares sejam computadas de forma barata via operações vetoriais (ex: similaridade de cosseno), em vez de chamadas de LLM par a par, que são mais caras. No entanto, permanece uma lacuna crítica de validade: embora os embeddings possam produzir agrupamentos (clusters), não está claro se a geometria do espaço de embedding preserva distinções relevantes para a correção. Especificamente, a proximidade no espaço de embedding corresponde à similaridade em notas atribuídas por humanos, ou os embeddings apenas agrupam soluções com base em características superficiais?

Metodologia

O estudo avaliou a validade da similaridade e do agrupamento baseados em embeddings utilizando um conjunto de dados de 992 soluções de problemas de estudantes manuscritas de um exame de termodinâmica aplicada de alto risco na ETH Zurich. A metodologia envolveu um design experimental de múltiplos estágios:

1. Preparação e Transcrição de Dados

As soluções manuscritas foram transcritas em texto usando um LLM multimodal (GPT-5.4) sob cinco condições distintas de transcrição para variar o grau de normalização e interpretação:

• ASCII Verbatim: Normalização mínima; preserva a notação e o layout idiossincráticos em ASCII puro.
• Orientado a LaTeX: Expressões matemáticas convertidas para LaTeX; a prosa permanece em texto puro.
• Narrativa de Fórmulas: Fórmulas e passos simbólicos narrados em linguagem natural, mantendo as variáveis originais.
• Narrativa de Solução: Um relato narrativo conciso do processo de solução visível do estudante, evitando termos avaliativos.
• Híbrido Estruturado: Uma representação estruturada com cabeçalhos fixos (ex: rótulos de problema, fórmulas, diagramas, método aparente) combinando conteúdo literal com organização estrutural.

Crucialmente, os prompts de transcrição proibiram explicitamente o modelo de resolver problemas, corrigir erros ou atribuir notas.

2. Geração de Embeddings

Cada uma das cinco representações textuais foi processada usando nove mecanismos de embedding:

• Propósito Geral: text-embedding-3-large da OpenAI.
• Jina Embeddings v4: Vários adaptadores (recuperação de texto, correspondência de texto) e níveis de quantização (F16, Q8, Q4).
• Especializado em Matemática: Modelos Qwen 2.5-Math (1.5B e 7B parâmetros), onde os estados ocultos da camada final foram submetidos ao mean-pooling para criar vetores.

Isso resultou em um total de 44.640 vetores de embedding utilizáveis (9 mecanismos × 5 representações × 992 respostas).

3. Métricas de Avaliação

As notas atribuídas por humanos serviram como o padrão de referência externo, mas não foram utilizadas durante a geração de embeddings ou o agrupamento. Duas análises principais foram conduzidas:

• Similaridade Par a Par: Correlação (Pearson e Spearman) entre a similaridade de embedding e a diferença absoluta negativa nas notas humanas.
• Agrupamento Hierárquico: O agrupamento aglomerativo (agglomerative clustering) — com ligação média (average) e completa (complete linkage) — foi realizado sobre matrizes de distância derivadas dos embeddings. A qualidade dos grupos foi medida pelo desvio padrão da nota dentro do cluster ponderado e pela cobertura dos estudantes em clusters "úteis" (tamanho ≥ 5).

4. Validação Sintética

Um conjunto de dados sintético de afirmações sobre o trabalho de um motor de Carnot foi criado para testar se os embeddings agrupam por correção conceitual (famílias de erros) ou formulação de superfície (pares de afirmações). Este "sistema de brinquedo" permitiu um exame controlado de se os embeddings se comportam como especialistas (agrupando por princípio) ou novatos (agrupando por características de superfície).

Resultados Principais

1. Correlação Fraca entre Embedding e Similaridade de Nota

Em todos os modelos e representações, a similaridade de embedding mostrou uma relação consistente, porém modesta, com a similaridade de nota.

• A melhor correlação de Spearman foi 0,198 (Híbrido estruturado + Qwen 7B + similaridade de cosseno).
• Mesmo os percentis de maior similaridade retiveram uma variação substancial de notas; pares com alta similaridade de embedding não possuíam necessariamente notas semelhantes.
• A relação não era linear o suficiente para servir como um substituto confiável para equivalência de correção.

2. Agrupamento Gera Grupos Enriquecidos em Notas, mas Não Equivalentes em Notas

O agrupamento hierárquico produziu grupos que eram ligeiramente mais homogêneos em nota do que agrupamentos aleatórios, mas a variação permaneceu alta.

• A melhor configuração (Narrativa de fórmula + Jina Retrieval Q8 + cosseno centralizado + ligação completa) alcançou um desvio padrão de nota de cluster útil ponderado de 2,547 pontos.
• A amplitude de notas dentro desses "melhores" clusters foi de aproximadamente 7 a 9 pontos, indicando que os clusters continham uma mistura ampla de níveis de desempenho.
• Impacto da Transcrição: Representações narrativas e estruturadas geralmente superaram as transcrições literais (ASCII/LaTeX), sugerindo que converter o trabalho simbólico em texto semanticamente explícito ajuda os embeddings a capturar parte da estrutura relevante para a correção.
• Impacto do Modelo: As diferenças entre os mecanismos de embedding foram marginais; nenhum modelo único superou decisivamente os outros em todas as condições.

3. O Comportamento "Novato" dos Embeddings

A análise dos dados sintéticos revelou uma limitação crítica: os embeddings tenderam a agrupar afirmações com base na formulação de superfície em vez da correção conceitual.

• Nos layouts de força direcionada (force-directed layouts), afirmações corretas e suas variantes falhas (que compartilham o mesmo padrão de redação) agruparam-se juntas.
• Por outro lado, afirmações que compartilhavam o mesmo erro conceitual, mas com redações diferentes, foram frequentemente separadas.
• Este comportamento espelha a categorização de estilo "novato" na educação em física (agrupar por características de superfície) em vez do estilo "especialista" (agrupar por princípios subjacentes).

Significância e Alegações

O artigo conclui que os embeddings de texto de última geração não fornecem uma base validada e não supervisionada para a correção de soluções de física manuscritas.

• Limitação de Validade: Embora a geometria do embedding seja "enriquecida em notas" (contém algum sinal relacionado às notas humanas), ela não é "equivalente em notas". Alta similaridade de embedding não implica equivalência de nota.
• Papel na Avaliação: Os embeddings são adequados para organização exploratória, como navegar em grandes conjuntos de respostas, selecionar exemplares, identificar soluções incomuns ou apoiar fluxos de trabalho de revisão com participação humana (human-in-the-loop). Eles não são suficientes para a correção autônoma sem validação externa contra o construto de avaliação específico.
• Superfície vs. Conceito: O estudo sugere que os mecanismos atuais de embedding se comportam como novatos, sendo fortemente influenciados por características de superfície (notação, layout, fraseado) em vez da estrutura conceitual profunda necessária para a avaliação de física.
• Direção Futura: Os autores argumentam que a correção por LLM consciente de rubrica ou sistemas de revisão humana com filtro de confiança são caminhos mais promissores do que depender apenas da geometria de embedding não supervisionada. O estudo enfatiza que os resultados de agrupamento devem ser tratados como hipóteses para inspeção humana, e não como categorias de correção definitivas.