Bounding Boxes to Improve Small Language Model Performance on Vision-Based Grading Tasks

Resumo Técnico: Caixas Delimitadoras para Melhorar o Desempenho de Pequenos Modelos de Linguagem em Tarefas de Avaliação Baseadas em Visão

Declaração do Problema
A integração de Pequenos Modelos de Linguagem (SLMs) em ambientes educacionais oferece vantagens distintas em relação à privacidade, custo e controle institucional sobre os dados em comparação com modelos proprietários de grande escala hospedados na nuvem. No entanto, os SLMs enfrentam desafios significativos quando aplicados a tarefas baseadas em visão, especificamente a correção automatizada de exames manuscritos de estudantes. Diferente do texto digitalizado, exames manuscritos exigem que o modelo localize respostas específicas dentro de uma página inteira, interprete textos riscados e ignore conteúdos irrelevantes de outras questões.

O principal gargalo técnico reside em como os Modelos de Linguagem de Visão (VLMs) processam imagens. Os VLMs tokenizam imagens particionando-as em patches, o que faz com que o número de tokens visuais escale linearmente com a área da imagem. Consequentemente, o processamento de um exame completo de página dupla A3 consome milhares de tokens visuais. Essa alta contagem de tokens traduz-se diretamente em um aumento do custo computacional (FLOPs) durante a inferência, frequentemente dominando a passagem forward. Além disso, a densidade visual de uma página inteira introduz distrações (ex: outras questões, diagramas ou rabiscos) que podem degradar o desempenho de modelos menores.

Metodologia
Para investigar se a redução do espaço de busca visual melhora o desempenho dos SLMs, os autores conduziram um estudo empírico utilizando 126 respostas manuscritas da Questão 1a da Olimpíada Australiana de Física de 2025. A questão exigia uma resposta curta simples ("atrito" ou "força de atrito"), minimizando a necessidade de raciocínio complexo e isolando a variável de extração visual.

O estudo avaliou oito VLMs de código aberto variando de 4B a 72B de parâmetros ativos (incluindo variantes do Llama 4 Scout, Mistral Small 3.2, Gemma 3 e Qwen2.5-VL). O experimento utilizou um design fatorial 2x2 com duas variáveis independentes:

1. Estratégia de Prompting: Comparando o prompting padrão contra o prompting de Cadeia de Pensamento (CoT), onde o modelo é instruído a "pensar passo a passo".
2. Modalidade de Entrada: Comparando a apresentação do scan completo da página dupla A3 versus uma caixa delimitadora (bounding box) recortada contendo apenas a região relevante da questão e da resposta.

Os pesquisadores definiram manualmente as caixas delimitadoras com base no layout consistente das folhas de exame, garantindo que o recorte capturasse as respostas dos alunos mesmo com pequenas variações de digitalização. O desempenho foi medido pela precisão da correção em relação a uma equipe de correção humana e pela eficiência computacional, calculada como o total de FLOPs de inferência baseado nas contagens de tokens de entrada/saída usando a aproximação $C \approx 2nN$.

Principais Resultados
Os resultados experimentais, resumidos entre todos os modelos, geraram as seguintes conclusões:

• Impacto das Caixas Delimitadoras: O uso de caixas delimitadoras foi o fator mais significativo para a melhoria do desempenho. Em todos os modelos, as condições que utilizaram caixas delimitadoras alcançaram maior precisão do que aquelas que processaram scans de página inteira. Especificamente, a condição "No-CoT + Bounding Box" produziu a maior precisão média (0.840 ± 0.020).
• Impacto da Cadeia de Pensamento (CoT): Contrariando algumas expectativas, o prompting CoT não proporcionou um benefício consistente. Para a maioria dos modelos, as condições CoT apresentaram desempenho semelhante ou ligeiramente inferior às condições sem CoT. A única exceção notável foi o Mistral Small 3.2, que mostrou melhoria de desempenho com CoT, provavelmente devido a diferenças em seu treinamento de seguimento de instruções.
• Eficiência Computacional: As caixas delimitadoras reduziram drasticamente o custo computacional. A contagem média de tokens caiu de aproximadamente 1.500 (página completa) para cerca de 680 (recorte). Essa redução resultou em uma diminuição dos FLõPs médios de 45 trilhões para 17 trilhões por resposta.
• Significância Estatística: A diferença de precisão entre as condições com e sem caixa delimitadora foi estatisticamente significativa ao nível de confiança de 99,8%.

Principais Contribuições e Alegações
O artigo afirma que as caixas delimitadoras servem como uma etapa crucial de pré-processamento para a implementação de SLMs em avaliações educacionais baseadas em visão em larga escala. As principais contribuições são:

1. Validação Empírica: Demonstrar que a redução do problema de busca visual via recorte melhora significativamente a precisão da correção para SLMs, provavelmente ao reduzir o ruído visual e o overhead de tokens.
2. Ganhos de Eficiência: Mostrar que este simples passo de pré-processamento reduz os custos computacionais em mais da metade sem sacrificar (e muitas vezes melhorando) a precisão.
3. Estratégia de Implementação: Argumentar que, para que os SLMs sejam viáveis na educação, as estruturas arquitetônicas devem compensar suas limitações removendo o excesso de ruído visual antes que o modelo processe a imagem.

Significância
Os autores concluem que, embora os SLMs sejam atraentes para implementação educacional devido aos seus benefícios de privacidade e custo, sua eficácia é atualmente limitada pelas demandas computacionais e de atenção do processamento de documentos de página inteira. Ao implementar caixas delimitadoras, as instituições podem otimizar a implementação de SLMs para análise de aprendizagem e correção automatizada, alcançando um equilíbrio de alta precisão e baixo custo computacional. O artigo sugere que pesquisas futuras neste domínio devem priorizar técnicas que minimizem distrações visuais para realizar plenamente o potencial dos SLMs na educação.