Bounding Boxes to Improve Small Language Model Performance on Vision-Based Grading Tasks

Technische Samenvatting: Bounding Boxes om de Prestaties van Small Language Models te Verbeteren bij Visuele BeoordelingsTaken

Probleemstelling
De integratie van Small Language Models (SLMs) in onderwijsomgevingen biedt duidelijke voordelen met betrekking tot privacy, kosten en institutionele controle over gegevens in vergelijking met grote, in de cloud gehoste propriëtaire modellen. Echter, SLMs worden geconfronteerd met aanzienlijke uitdagingen wanneer ze worden toegepast op visuele taken, specifiek het geautomatiseerd beoordelen van handgeschreven examens van studenten. In tegen tegenstelling tot gedigitaliseerde tekst, vereisen handgeschreven examens dat het model specifieke antwoorden binnen een volledige pagina lokaliseert, doorgehaalde tekst interpreteert en irrelevante inhoud van andere vragen negeert.

De kern van de technische bottleneck ligt in de manier waarop Vision-Language Models (VLMs) afbeeldingen verwerken. VLMs tokeniseren afbeeldingen door ze op te delen in patches, waardoor het aantal visuele tokens lineair schaalt met het beeldoppervlak. Bijgevolg verbruikt het verwerken van een volledige A3 dubbele pagina examenscan duizenden visuele tokens. Dit hoge aantal tokens vertaalt zich direct naar verhoogde computationele kosten (FLOPs) tijdens de inferentie, wat vaak de forward pass domineert. Bovendien introduceert de visuele dichtheid van een volledige pagina afleidingen (bijv. andere vragen, diagrammen of krabbels) die de prestaties van kleinere modellen kunnen verslechteren.

Methodologie
Om te onderzoeken of het reduceren van de visuele zoekruimte de prestaties van SLMs verbetert, voerden de auteurs een empirische studie uit met 126 gescande handgeschreven antwoorden op Vraag 1a van de Australische Physics Olympiad 2025. De vraag vereiste een eenvoudig kort antwoord ("friction" of "friction force"), wat de noodzaak voor complexe redenering minimaliseerde en de variabele van visuele extractie isoleerde.

De studie evalueerde acht open-source VLMs variërend van 4B tot 72B actieve parameters (inclusief Llama 4 Scout, Mistral Small 3.2, Gemma 3 varianten en Qwen2.5-VL varianten). Het experiment maakte gebruik van een 2x2 factorieel ontwerp met twee onafhankelijke variabelen:

1. Prompting Strategie: Het vergelijken van standaard prompting tegenover Chain of Thought (CoT) prompting, waarbij het model de instructie krijgt om "stap voor stap na te denken".
2. Input Modaliteit: Het vergelijken van de presentatie van de volledige A3 dubbele pagina scan versus een uitgesneden bounding box die alleen de relevante vraag en het antwoordgebied bevat.

De onderzoekers definieerden handmatig bounding boxes op basis van de consistente lay-out van de examens, waarbij werd gewaarborgd dat de uitsnede de studentenantwoorden vastlegde, zelfs bij kleine variaties in het scannen. Prestaties werden gemeten aan de hand van de beoordelingsnauwkeurigheid tegenover een menselijk beoordelingsteam en computationele efficiëntie, berekend als totale inferentie FLOPs op basis van input/output token counts met de benadering $C \approx 2nN$.

Belangrijkste Resultaten
De experimentele resultaten, samengevat over alle modellen, leverden de volgende bevindingen op:

• Impact van Bounding Boxes: Het gebruik van bounding boxes was de meest significante factor in het verbeteren van de prestaties. Over alle modellen heen bereikten condities die gebruikmaakten van bounding boxes een hogere nauwkeurigheid dan die welke volledige pagina scans verwerkten. Specifiek produceerde de "No-CoT + Bounding Box" conditie de hoogste gemiddelde nauwkeurigheid (0.840 ± 0.020).
• Impact van Chain of Thought (CoT): Tegen de verwachtingen in bood CoT prompting geen consistente verbetering. Voor de meeste modellen presteerden de CoT-condities vergelijkbaar met of zelfs iets slechter dan de non-CoT condities. De enige opmerkelijke uitzondering was Mistral Small 3.2, die een verbeterde prestatie vertoonde met CoT, waarschijnlijk door verschillen in de training op het gebied van instructie-opvolging.
• Computationele Efficiëntie: Bounding boxes verminderden de computationele kosten drastisch. Het gemiddelde aantal tokens daalde van ongeveer 1.500 (volledige pagina) naar ongeveer 680 (uitgesneden). Deze reductie resulteerde in een afname van de gemiddelde FLOPs van 45 biljoen naar 17 biljoen per reactie.
• Statistische Significantie: Het verschil in nauwkeurigheid tussen de bounding box en de non-bounding box condities was statistisch significant op een betrouwbaarheidsniveau van 99,8%.

Belangrijkste Bijdragen en Claims
Het artikel stelt dat bounding boxes dienen als een cruciale pre-processing stap voor de inzet van SLMs bij grootschalige, visuele onderwijsbeoordelingen. De primaire bijdragen zijn:

1. Empirische Validatie: Het aantonen dat het reduceren van het visuele zoekprobleem via cropping de beoordelingsnauwkeurigheid voor SLMs aanzienlijk verbetert, waarschijnlijk door visuele ruis en token overhead te verminderen.
2. Efficiëntiewinst: Het aantonen dat deze eenvoudige pre-processing stap de computationele kosten met meer dan de helft vermindert zonder de nauwkeurigheid op te offeren (en deze zelfs vaak te verbeteren).
3. Implementatiestrategie: Het beargumenteren dat voor SLMs levensvatbaar te zijn in het onderwijs, architecturale kaders hun beperkingen moeten compenseren door onnodige visuele rommel te verwijderen voordat het model de afbeelding verwerkt.

Significantie
De auteurs concluderen dat hoewel SLMs aantrekkelijk zijn voor inzet in het onderwijs vanwege hun privacy- en kostenvoordelen, hun effectiviteit momenteel beperkt wordt door de computationele en aandachtseisen van het verwerken van volledige documentpagina's. Door bounding boxes te implementeren, kunnen instellingen de inzet van SLMs voor leeranalyse en geautomatiseerde beoordeling optimaliseren, waarbij een balans wordt bereikt tussen hoge nauwkeurigheid en lage computationele kosten. Het artikel suggereert dat toekomstig onderzoek in dit domein prioriteit moet geven aan technieken die visuele afleidingen minimaliseren om het potentieel van SLMs in het onderwijs volledig te benutten.