Bounding Boxes to Improve Small Language Model Performance on Vision-Based Grading Tasks

기술 요약: 시각 기반 채점 작업에서 소형 언어 모델(SLM) 성능 향상을 위한 바운딩 박스 활용

문제 정의
교육 환경에 소형 언어 모델(SLM)을 통합하는 것은 클라우드 기반의 대규모 독점 모델과 비교했을 때 개인정보 보호, 비용, 데이터에 대한 기관의 통제권 측면에서 뚜렷한 이점을 제공한다. 그러나 SLM은 시각 기반 작업, 특히 수기로 작성된 학생 시험지를 자동 채점할 때 상당한 어려움에 직면한다. 디지털화된 텍스트와 달리, 수기 시험지는 모델이 전체 페이지 내에서 특정 답안을 찾아내고, 지워진 텍스트를 해석하며, 다른 질문으로부터 발생하는 무관한 콘텐츠를 무시해야 한다.

핵심적인 기술적 병목 현상은 시각-언어 모델(VLM)이 이미지를 처리하는 방식에 있다. VLM은 이미지를 패치(patch) 단위로 분할하여 토큰화하는데, 이로 인해 시각적 토큰의 수가 이미지 면적에 따라 선형적으로 증가한다. 결과적으로, A3 크기의 이중 페이지 시험지 스캔본을 처리하는 데는 수천 개의 시각적 토큰이 소비된다. 이러한 높은 토큰 수는 추론 시 계산 비용(FLOPs)을 직접적으로 증가시키며, 종종 순전파(forward pass) 과정의 대부분을 차지하게 된다. 또한, 전체 페이지의 시각적 밀도는 주의를 분산시키는 요소(예: 다른 질문, 도표 또는 낙서)를 도입하여 소형 모델의 성능을 저하시킬 수 있다.

연구 방법론
시각적 탐색 공간을 줄이는 것이 SLM 성능을 개선하는지 조사하기 위해, 저자들은 2025년 호주 물리 올림피아드의 질문 1a에 대한 126개의 스캔된 수기 응답을 사용하여 실증 연구를 수행했다. 해당 질문은 단순한 단답형("friction" 또는 "friction force")을 요구하였는데, 이는 복잡한 추론의 필요성을 최소화하고 시각적 추출이라는 변수를 고립시키기 위함이었다.

본 연구는 4B에서 72B의 활성 파라미터를 가진 8개의 오픈 소스 VLM(Llama 4 Scout, Mistral Small 3.2, Gemma 3 변형, Qwen2.5-VL 변형 포함)을 평가하였다. 실험은 두 가지 독립 변수를 가진 2x2 요인 설계(factorial design)를 활용하였다:

1. 프롬프팅 전략: 표준 프롬프팅과 "단계별로 생각하라"는 지침을 주는 사고 사슬(Chain of Thought, CoT) 프롬프팅을 비교하였다.
2. 입력 모달리티: 전체 A3 이중 페이지 스캔본을 제시하는 것과 관련 질문 및 답안 영역만을 포함하는 크롭된 바운딩 박스를 제시하는 것을 비교하였다.

연구진은 시험지의 일관된 레이아웃을 바탕으로 바운딩 박스를 수동으로 정의하였으며, 이를 통해 스캐닝 과정에서의 미세한 변동에도 학생의 응답이 포착되도록 보장하였다. 성능은 인간 채점팀에 대한 채점 정확도와 입력/출력 토큰 수를 기반으로 한 근사식 $C \approx 2nN$을 사용한 계산 효율성(총 추론 FLOPs)으로 측정되었다.

주요 결과
모든 모델에 걸쳐 요약된 실험 결과는 다음과 같다:

• 바운딩 박스의 영향: 바운딩 박스 사용은 성능을 향상시키는 가장 중요한 요인이었다. 모든 모델에서 바운딩 박스를 활용한 조건이 전체 페이지 스캔을 처리한 조건보다 높은 정확도를 달了. 구체적으로, "No-CoT + Bounding Box" 조건이 평균 0.840 ± 0.020으로 가장 높은 정확도를 기록했다.
• 사고 사슬(CoT)의 영향: 일부 예상과는 반대로, CoT 프롬프팅은 일관된 이점을 제공하지 못했다. 대부분의 모델에서 CoT 조건은 비-CoT 조건과 유사하거나 오히려 약간 낮은 성능을 보였다. 유일한 주목할 만한 예외는 Mistral Small 3.2였는데, 이 모델은 지시 이행 학습의 차이 때문인지 CoT를 통해 성능이 향상되는 모습을 보였다.
• 계산 효율성: 바운딩 박스는 계산 비용을 획기적으로 줄였다. 평균 토큰 수는 약 1,500개(전체 페이지)에서 약 680개(크롭된 영역)로 감소했다. 이러한 감소는 응답당 평균 FLOPs를 45조 회에서 17조 회로 낮추는 결과로 이어졌다.
• 통계적 유의성: 바운딩 박스 조건과 비-바운딩 박스 조건 사이의 정확도 차이는 99.8% 신뢰 수준에서 통계적으로 유의미했다.

주요 기여 및 주장
본 논문은 바운딩 박스가 대규모 시각 기반 교육 평가에 SLM을 배치하는 데 있어 필수적인 전처리 단계라고 주장한다. 주요 기여는 다음과 같다:

1. 실증적 검증: 크롭을 통해 시각적 탐색 문제를 줄이는 것이 SLM의 채점 정확도를 크게 향상시킨다는 것을 입증하였으며, 이는 시각적 노이즈와 토큰 오버헤드를 줄이기 때문인 것으로 보인다.
2. 효율성 이득: 이 간단한 전처리 단계가 정확도를 희생하지 않고(오히려 향상시키면서) 계산 비용을 절반 이상 줄일 수 있음을 보여주었다.
3. 배포 전략: 교육 분야에서 SLM이 생존력을 갖추기 위해서는, 모델이 이미지를 처리하기 전에 불필요한 시각적 혼란을 제거하는 구조적 프레임워크가 보완되어야 한다고 주장한다.

의의
저자들은 SLM이 개인정보 보호 및 비용 측면에서 교육적 배포에 매력적이지만, 현재는 전체 페이지 문서를 처리하는 데 따르는 계산적 및 주의력(attentional) 요구 사항으로 인해 그 효과가 제한적이라고 결론짓는다. 바운딩 박스를 구현함으로써 교육 기관은 높은 정확도와 낮은 계산 비용 사이의 균형을 달성하며 학습 분석 및 자동 채점을 위한 SLM 배포를 최적화할 수 있다. 본 논문은 이 분야의 향ye 연구가 SLM의 잠재력을 완전히 실현하기 위해 시각적 방해 요소를 최소화하는 기술에 우선순위를 두어야 한다고 제안한다.