💬 NLP

Bounding Boxes to Improve Small Language Model Performance on Vision-Based Grading Tasks

Este artículo demuestra que el uso de cuadros delimitadores para recortar las respuestas manuscritas de los estudiantes mejora significativamente la precisión de la calificación y la eficiencia computacional de los modelos de lenguaje pequeños en tareas de evaluación educativa basadas en visión.

Autores originales: Lachlan McGinness

Publicado 2026-07-22

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Lachlan McGinness

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras pueden leer tu letra, entender tus pensamientos e incluso calificar tus tareas. Esta es la emocionante frontera de la Inteligencia Artificial en la Educación, donde los "Pequeños Modelos de Lenguaje" (SLM, por sus siglas en inglés) son los nuevos héroes. Piensa en estos modelos como cerebros digitales inteligentes y compactos que pueden ejecutarse en una computadora portátil regular o en un servidor escolar, manteniendo privados los datos de los estudiantes y ahorrando dinero en comparación con los enormes supercomputadores basados en la nube. Sin embargo, hay un inconveniente: aunque estos pequeños cerebros son excelentes leyendo texto, a veces se ven abrumados al mirar una página entera de notas manuscritas desordenadas. Es como pedirle a un detective que encuentre una pista específica en una habitación llena de miles de objetos no relacionados; la enorme cantidad de "ruido" visual puede confundirlos, haciendo que pierdan la respuesta o gasten mucha energía intentando descifrarla.

Este artículo de Lachlan McGinness, de la Universidad Nacional Australiana, aborda precisamente ese problema. El autor plantea una pregunta simple pero poderosa: ¿Qué pasaría si simplemente le mostráramos a la computadora la parte específica de la página donde está la respuesta, en lugar de toda la página desordenada? Para probar esto, el equipo utilizó exámenes escaneados de la Olimpiada Australiana de Física de 2025, donde los estudiantes tenían que escribir una única palabra de respuesta ("fricción") a una pregunta sobre caminar. Probaron ocho modelos de IA diferentes, que iban desde diminutos "cachorros" de 4 mil millones de parámetros hasta "gigantes" de 72 mil millones de parámetros, y les dieron dos tipos de instrucciones: a algunos se les dijo que "pensaran paso a paso" (una técnica llamada Cadena de Pensamiento o Chain of Thought), mientras que a otros solo se les pidió que dieran la respuesta. Crucialmente, probaron dos configuraciones visuales: una donde la IA veía el examen completo de doble página escaneado, y otra donde la IA solo veía un "recuadro delimitador" (bounding box) recortado alrededor del área específica de la pregunta y la respuesta.

Los resultados fueron una victoria clara para el método de "recorte". El estudio encontró que cuando se le mostraba a los modelos de IA solo el recuadro delimitador relevante, se volvían significativamente más precisos al calificar las respuestas, independientemente de si eran modelos pequeños o grandes. De hecho, mostrar la página completa a menudo confundía a los modelos, lo que resultaba en puntuaciones más bajas. Curiosamente, la instrucción de "pensar paso a paso" no ayudó mucho; los modelos funcionaron igual de bien (o a veces mejor) cuando solo se les pidió que dieran la respuesta directamente. La victoria más sorprendente fue la eficiencia: al recortar la imagen, los modelos necesitaron procesar muchos menos "tokens visuales" (los bloques de construcción digitales de las imágenes), lo que redujo a la mitad el costo computacional. Por ejemplo, el número promedio de tokens cayó de alrededor de 1,500 al ver la página completa a poco menos de 700 al ver el recuadro recortado, reduciendo la energía necesaria para calificar cada examen de 45 billones de operaciones a aproximadamente 17 billones.

El artículo argumenta explícitamente en contra de la idea de que simplemente hacer que la IA "piense más duro" (usando la Cadena de Pensamiento) es la mejor manera de solucionar estos errores; los datos sugieren que, para esta tarea específica, limpiar la entrada visual es mucho más efectivo que cambiar el proceso de pensamiento. Señalan que, aunque la pregunta real del examen era sobre la marcha humana, el texto del prompt dado a los modelos se refería explícitamente a que la pregunta era sobre "caracoles" (probablemente debido a un gran diagrama de un caracol en la página), y se instruyó a los modelos para que buscaran la respuesta en ese contexto. Concluyen que, para las escuelas que quieran utilizar estas herramientas de IA asequibles y privadas para calificar exámenes manuscritos, el ingrediente secreto no es necesariamente un modelo más grande o un prompt más inteligente, sino un simple paso de preprocesamiento: recortar la imagen para eliminar el desorden. Este pequeño cambio permite que incluso los modelos más pequeños y eficientes energéticamente funcionen como campeones, haciendo que la calificación automatizada sea una herramienta mucho más realista y práctica para el futuro de la educación.

Resumen Técnico: Cuadros delimitadores para mejorar el rendimiento de los modelos de lenguaje pequeños en tareas de calificación basadas en visión

Planteamiento del problema
La integración de modelos de lenguaje pequeños (SLM, por sus siglas en inglés) en entornos educativos ofrece ventajas distintivas en cuanto a privacidad, costo y control institucional sobre los datos en comparación con los modelos propietarios grandes alojados en la nube. Sin embargo, los SLM enfrentan desafíos significativos cuando se aplican a tareas basadas en visión, específicamente en la calificación automatizada de exámenes manuscritos de estudiantes. A diferencia del texto digitalizado, los exámenes manuscritos requieren que el modelo localice respuestas específicas dentro de una página completa, interprete el texto tachado e ignore el contenido irrelevante de otras preguntas.

El cuello de botella técnico central reside en cómo los modelos de lenguaje de visión (VLM) procesan las imágenes. Los VLM tokenizan las imágenes particionándolas en parches, lo que provoca que el número de tokens visuales escale linealmente con el área de la imagen. En consecuencia, procesar un escaneo de examen completo de doble página en formato A3 consume miles de tokens visuales. Este alto recuento de tokens se traduce directamente en un aumento del costo computacional (FLOPs) durante la inferencia, lo que a menudo domina el paso hacia adelante (forward pass). Además, la densidad visual de una página completa introduce distracciones (por ejemplo, otras preguntas, diagramas o garabatos) que pueden degradar el rendimiento de los modelos más pequeños.

Metodología
Para investigar si la reducción del espacio de búsqueda visual mejora el rendimiento de los SLM, los autores realizaron un estudio empírico utilizando 126 respuestas manuscritas a la Pregunta 1a de la Olimpiada de Física de Australia 2025. La pregunta requería una respuesta corta simple ("fricción" o "fuerza de fricción"), minimizando la necesidad de un razonamiento complejo y aislando la variable de la extracción visual.

El estudio evaluó ocho VLM de código abierto que oscilaban entre 4B y 72B de parámetros activos (incluyendo variantes de Llama 4 Scout, Mistral Small 3.2, Gemma 3 y Qwen2.5-VL). El experimento utilizó un diseño factorial 2x2 con dos variables independientes:

Estrategia de Prompting: Comparación del prompting estándar frente al prompting de Cadena de Pensamiento (CoT), donde se instruye al modelo para que "piense paso a paso".
Modalidad de Entrada: Comparación de la presentación de un escaneo completo de doble página en A3 frente a un cuadro delimitador recortado que contiene únicamente la región relevante de la pregunta y la respuesta.

Los investigadores definieron manualmente los cuadros delimitadores basándose en el diseño consistente de los exámenes, asegurando que el recorte capturara las respuestas de los estudiantes incluso con variaciones menores en el escaneo. El rendimiento se midió mediante la precisión de calificación frente a un equipo de calificación humana y la eficiencia computacional, calculada como el total de FLOPs de inferencia basado en los recuentos de tokens de entrada/salida utilizando la aproximación $C \approx 2nN$ .

Resultos Clave
Los resultados experimentales, resumidos en todos los modelos, arrojaron los siguientes hallazgos:

Impacto de los Cuadros Delimitadores: El uso de cuadros delimitadores fue el factor más significativo para mejorar el rendimiento. En todos los modelos, las condiciones que utilizaron cuadros delimitadores lograron una mayor precisión que aquellas que procesaron escaneos de página completa. Específicamente, la condición "Sin-CoT + Cuadro Delimitador" produjo la mayor precisión (0.840 ± 0.020) en promedio.
Impacto de la Cadena de Pensamiento (CoT): Contrario a algunas expectativas, el prompting de CoT no proporcionó un beneficio consistente. Para la mayoría de los modelos, las condiciones de CoT funcionaron de manera similar o ligeramente peor que las condiciones sin CoT. La única excepción notable fue Mistral Small 3.2, que mostró un mejor desempeño con CoT, probablemente debido a diferencias en su entrenamiento de seguimiento de instrucciones.
Eficiencia Computacional: Los cuadros delimitadores redujeron drásticamente el costo computacional. El recuento promedio de tokens cayó de aproximadamente 1,500 (página completa) a alrededor de 680 (recorte). Esta reducción resultó en una disminución de los FLOPs promedio de 45 billones a 17 billones por respuesta.
Significancia Estadística: La diferencia en la precisión entre las condiciones de cuadro delimitador y de no cuadro delimitador fue estadísticamente significativa con un nivel de confianza del 99.8%.

Contribuciones y Reivindicaciones Clave
El artículo sostiene que los cuadros delimitadores sirven como un paso de preprocesamiento crucial para el despliegue de SLM en evaluaciones educativas a gran escala basadas en visión. Las principales contribuciones son:

Validación Empírica: Demostrar que la reducción del problema de búsqueda visual mediante el recorte mejora significamente la precisión de la calificación para los SLM, probablemente al reducir el ruido visual y la sobrecarga de tokens.
Ganancias de Eficiencia: Mostrar que este sencillo paso de preprocesamiento reduce los costos computacionales en más de la mitad sin sacrificar (y a menudo mejorando) la precisión.
Estrategia de Despliegue: Argumentar que, para que los SLM sean viables en la educación, los marcos arquitectónicos deben compensar sus limitaciones eliminando el desorden visual innecesario antes de que el modelo procese la imagen.

Significancia
Los autores concluyen que, si bien los SLM son atractivos para el despliegue educativo debido a sus beneficios de privacidad y costo, su efectividad está actualmente limitada por las demandas computacionales y de atención que supone el procesamiento de documentos de página completa. Al implementar cuadros delimitadores, las instituciones pueden optimizar el despliegue de los SLM para la analítica del aprendizaje y la calificación automatizada, logrando un equilibrio entre una alta precisión y un bajo gasto computacional. El artículo sugiere que la investigación futura en este dominio debe priorizar técnicas que minimicen las distracciones visuales para alcanzar plenamente el potencial de los SLM en la educación.

Más como este