Sketch2Feedback: Grammar-in-the-Loop Framework for Rubric-Aligned Feedback on Student STEM Diagrams

이 논문은 대규모 멀티모달 모델의 환각 문제를 해결하고 학생들의 STEM 다이어그램에 대한 rubric 기반 피드백의 신뢰성을 높이기 위해, hybrid perception, 기호 그래프 구축, 제약 조건 확인, 제약付き VLM 피드백의 4 단계로 구성된 'Grammar-in-the-Loop' 프레임워크인 Sketch2Feedback 을 제안하고 평가합니다.

핵심

이 논문은 **"학생들이 그린 과학 그림 (물리, 전기 회로 등) 을 보고, AI 가 틀린 점을 찾아서 친절하게 가르쳐 주는 방법"**에 대한 연구입니다.

기존의 최신 AI 는 그림을 보고 설명할 때 **"아니, 이거 없는데 왜 있대?"**라고 엉뚱한 말을 지어내는 (할루시네이션) 문제가 있어 선생님들이 믿고 쓰기 어려웠습니다. 이 논문은 그 문제를 해결하기 위해 '규칙을 먼저 확인하고, 그다음에 AI 가 말하게 하는' 새로운 방식을 제안합니다.

이 내용을 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드릴게요.

---

1. 기존 방식 vs 새로운 방식: "직관적인 예술가" vs "엄격한 검사관 + 번역가"

기존 AI (LLaVA 같은 모델): "직관적인 예술가"

• 특징: 그림을 한눈에 보자마자 "아, 여기 힘 화살표가 빠졌네!"라고 바로 말합니다.
• 장점: 전체적인 맥락을 잘 파악해서 빠진 부분을 찾아내는 능력이 뛰어납니다. (특히 '자유물체도' 같은 그림에서 잘합니다.)
• 단점: 가끔은 그림에 없는 것을 보고도 "있는데?"라고 **망상 (할루시네이션)**을 일으켜 학생을 혼란스럽게 합니다.

새로운 방식 (Sketch2Feedback): "엄격한 검사관 + 번역가"
이 방식은 그림을 바로 해석하지 않고, 4 단계로 나누어 처리합니다.

1. 검사관 (시각 인식): 컴퓨터가 그림을 자세히 스캔합니다. "여기에 화살표가 있네, 저기에 배터리가 있네"라고 사실만 나열합니다.
2. 규칙책 (기하학적 그래프): 나열된 사실을 바탕으로 "회로도가 연결되었나?", "힘의 방향이 맞나?" 같은 수학적 규칙을 적용합니다.
3. 심판 (규칙 확인): 규칙책과 대조해 봅니다. "규칙상 여기는 연결되어야 하는데 끊겨 있네! 이게 오류야!"라고 확실한 증거만 찾아냅니다.
4. 번역가 (AI 언어 모델): 심판이 찾아낸 '확실한 오류' 목록만 받아서 학생에게 "여기 연결이 안 되어 있어요. 이 선을 이어주세요"라고 자연스러운 말로 바꿔줍니다.

핵심 차이: 번역가 (AI) 는 심판이 "오류가 있다"고 말하기 전에는 절대 입을 열지 않습니다. 그래서 없는 것을 지어내는 실수가 사라집니다.

---

2. 실험 결과: "상황에 따라 승자가 다르다"

연구진은 두 가지 종류의 그림 (물리 힘 그림, 전기 회로 그림) 으로 실험을 했습니다. 결과는 매우 흥미로웠습니다.

• 물리 힘 그림 (FBD) 을 볼 때:

  • **직관적인 예술가 (기존 AI)**가 이겼습니다. 힘의 방향이나 균형 같은 '느낌'을 파악하는 데는 AI 의 직관이 더 뛰어났습니다.
  • 규칙을 따르는 방식은 너무 딱딱해서 미묘한 실수를 놓쳤습니다.

• 전기 회로 그림 (Circuit) 을 볼 때:

  • **규칙을 따르는 방식 (Sketch2Feedback)**이 압도적으로 이겼습니다. 회로는 "연결되었는지, 극성이 맞는지"가 명확한 규칙이기 때문입니다.
  • 직관적인 예술가는 회로 그림을 보며 "여기 전선이 연결된 것 같은데?"라고 망상을 일으켜 엉뚱한 오류를 지적했습니다.

비유하자면:

• 회로 그림은 레고 조립과 같습니다. "이 블록이 끼워졌는지"는 명확한 규칙이 있으니, 기계가 규칙대로 체크하는 게 훨씬 정확합니다.
• 힘의 그림은 유화 그리기와 비슷합니다. "이 그림이 균형 잡힌 느낌인가?"를 판단하려면 규칙보다는 전체적인 감각이 필요합니다.

---

3. 이 연구의 진짜 가치: "누가 잘못했는지 정확히 알 수 있다"

이 논문에서 가장 중요한 발견은 **"어디서 문제가 생겼는지 정확히 찾을 수 있다"**는 점입니다.

• 기존 AI: "AI 가 잘못 말했어."라고만 알 수 있습니다. 왜 틀렸는지, AI 가 망상을 했는지, 아니면 그림을 못 봤는지 알 수 없어 고치기 어렵습니다.
• 새로운 방식: "아, **1 단계 (검사관)**가 전선을 잘못 본 게 문제구나!"라고 정확히 pinpoint(지정) 할 수 있습니다.
  • 예를 들어, 회로 그림에서 AI 가 엉뚱한 오류를 지적할 때, 그 원인이 AI 의 언어 실수가 아니라 1 단계의 눈 (컴퓨터 비전) 이 전선을 잘못 감지한 것임을 발견했습니다.
  • 그래서 1 단계만 고치면 (더 좋은 눈으로 교체하면) 전체 시스템이 완벽해집니다.

요약 및 결론

이 논문은 **"AI 가 학생의 그림을 가르칠 때, 무조건 똑똑한 AI 하나를 쓰는 것보다, '규칙을 확인하는 단계'를 끼워 넣는 것이 더 안전하고 신뢰할 수 있다"**는 것을 보여줍니다.

• 장점: 엉뚱한 말을 지어내지 않아 (할루시네이션 감소), 학생들이 혼란스럽지 않습니다. 특히 전기 회로 같은 규칙이 명확한 과목에서 아주 훌륭합니다.
• 단점: 아직은 물리 힘 그림처럼 '느낌'이 중요한 과목에서는 기존 AI 가 더 잘합니다.
• 미래: 앞으로는 규칙을 확인하는 시스템과 직관적인 AI를 합쳐서 (앙상블), 어떤 그림이든 완벽하게 가르쳐 주는 시스템을 만들 수 있을 것입니다.

결론적으로, 이 기술은 **"AI 가 선생님 대신 학생을 가르칠 때, '믿을 수 있는' 도구가 되게 하는 첫걸음"**이라고 할 수 있습니다.

기술 요약

1. 문제 정의 (Problem)

STEM(과학, 기술, 공학, 수학) 교육에서 학생들이 직접 그린 다이어그램 (예: 자유물체도, 회로도) 에 대해 시기적절하고 rubric(평가 기준) 에 부합하는 피드백을 제공하는 것은 여전히 큰 과제로 남아 있습니다.

• 기존 접근법의 한계: 대규모 멀티모달 모델 (LMM, 예: LLaVA, GPT-4V) 은 이미지와 텍스트를 동시에 처리할 수 있지만, 학생들의 손으로 그린 스케치와 같은 입력에 대해 할루시네이션 (허위 사실 생성) 경향이 강합니다. 모델이 다이어그램에 존재하지 않는 요소를 존재하는 것처럼 설명하거나, 잘못된 오류를 지적함으로써 교실 환경에서의 신뢰도를 떨어뜨립니다.
• 핵심 병목: 생성의 질이 아니라 지각 (Perception) 의 신뢰성이 주요 병목 현상입니다.

2. 방법론: Sketch2Feedback (Grammar-in-the-Loop)

저자들은 LMM 의 할루시네이션을 방지하고 신뢰할 수 있는 피드백을 제공하기 위해 "Grammar-in-the-Loop(문법-루프)" 아키텍처를 제안합니다. 이는 지각 (Perception), 상징적 추론 (Symbolic Reasoning), 언어 생성 (Language Generation) 을 분리하여, 언어 모델이 오직 상위 규칙 엔진에 의해 검증된 위반 사항만 표현하도록 제한합니다.

4 단계 파이프라인:

1. 하이브리드 지각 (Hybrid Perception):
   • 딥러닝 대신 고전적인 컴퓨터 비전 (CV) 기법을 활용하여 강건성을 확보합니다.
   • CLAHE 대비 정규화, 적응형 임계값, 컨투어 분석, HoughLinesP(선 감지), 모양 기반 분류 등을 결합하여 화살표, 선, 구성 요소, 접합부 등을 감지합니다.
2. 상징적 그래프 구축 (Symbolic Graph Construction):
   • 감지된 원시 요소 (primitives) 를 유형, 신뢰도, 바운딩 박스를 가진 노드와 공간적 근접성을 가진 엣지로 구성된 typed graph $G=(V, E)$로 변환합니다.
3. 제약 조건 확인 (Constraint Checking):
   • 시나리오 키 (Scenario Key) 와 비교하여 도메인별 규칙 (예: 힘의 균형, 극성, 접지 여부) 을 적용합니다.
   • 검증된 위반 사항 (Violations) 만 다음 단계로 전달됩니다.
4. 제약된 VLM 피드백 생성 (Constrained VLM Feedback):
   • 소형 VLM(Qwen2-VL-2B) 이 검증된 위반 목록과 이미지만을 입력받아 피드백을 생성합니다.
   • 핵심 메커니즘: 제약 조건 체커가 감지하지 못한 오류는 VLM 이 생성할 수 없으므로 할루시네이션이 근본적으로 차단됩니다. (VLM 이 없을 경우에도 템플릿 기반 피드백으로 대체 가능)

3. 주요 기여 (Key Contributions)

1. 마이크로 벤치마크 구축:
   • FBD-10: 10 가지 시나리오, 200 개의 주석 달린 합성 자유물체도 (Free-Body Diagrams).
   • Circuit-10: 10 가지 회로 토폴로지, 200 개의 합성 회로도.
   • 각 데이터셋은 제어된 오류 분류, 픽셀 단위 바운딩 박스, rubric 키를 포함합니다.
2. 새로운 파이프라인 제안: 하이브리드 CV, 상징적 그래프, 도메인 특화 제약 조건, 제약된 VLM 을 결합한 4 단계 아키텍처.
3. 다목적 평가 체계: 탐지 F1 점수, 피드백 품질 (Likert 척도), 할루시네이션율, 보정 (ECE), 지연 시간 등을 부트스트랩 신뢰구간 (95% CI) 과 함께 측정.
4. 솔직한 분석: 단일 아키텍처가 모든 도메인을 지배하지 않으며, 모델 간 상호 보완적 강점이 있음을 입증하여 향후 앙상블 접근의 필요성을 제시.

4. 실험 결과 (Results)

두 가지 벤치마크 (FBD-10, Circuit-10) 에서 제안된 파이프라인 (Grammar+VLM) 을 엔드 - 투 - 엔드 LMM(LLaVA-1.5-7B) 및 비전 - 만 검출기와 비교했습니다.

• FBD (자유물체도) 결과:
  • 엔드 - 투 - 엔드 LMM 이 우세: LLaVA-1.5-7B 가 미크로-F1(0.471 vs 0.263), 정밀도, 재현율, 피드백 품질 (정확도 및 실행 가능성) 에서 모두 Grammar 파이프라인을 능가했습니다.
  • 이유: 힘과 물체 간의 공간적 관계를 이해하는 데는 전체적인 시각적 이해 (Holistic understanding) 가 규칙 기반 접근보다 효과적입니다.
• Circuit (회로도) 결과:
  • Grammar 파이프라인이 압도적: 미크로-F1(0.329 vs 0.038) 에서 LLaVA 를 크게 앞섰으며, **실행 가능성 (Actionability) 은 5.0/5.0(완벽)**을 기록했습니다.
  • 할루시네이션 분석: Grammar 파이프라인의 회로도 할루시네이션율 (0.925) 이 높았으나, 이는 VLM 의 착각이 아니라 Stage 1(고전 CV) 의 오탐지(False Positive) 가 파이프라인을 타고 전파된 결과임이 밝혀졌습니다. 이는 모듈식 아키텍처의 장점인 정밀한 실패 원인 규명을 가능하게 했습니다.
• 모델 보완성:
  • Grammar 파이프라인은 구조적 제약 위반 (예: 잘못된 방향, 접지 누락) 을 잘 탐지하지만, LLM 은 누락된 요소 (Missing force) 탐지에 강점이 있습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 모듈성과 진단 가능성: 제안된 아키텍처의 가장 큰 가치는 모듈성입니다. 오류가 발생한 단계를 정확히 추적할 수 있어 (예: 회로도 할루시네이션은 CV 감지 단계의 문제), 시스템 전체를 재학습하지 않고도 특정 단계 (예: CV 감지기를 학습 기반 검출기로 교체) 만 개선할 수 있습니다. 이는 교육용 시스템 배포 시 신뢰성과 디버깅에 필수적입니다.
• 지각 (Perception) 이 병목: 두 모델 모두 공통적으로 구성 요소 누락이나 극성 오류 탐지에 실패했습니다. 이는 학습 기반의 지각 모델 (YOLO, DETR 등) 로의 교체가 향후 가장 큰 성능 향상을 가져올 것임을 시사합니다.
• 도메인 의존성: 단일 모델이 모든 STEM 다이어그램에 최적이지 않으며, 도메인 (물리 vs 전기) 에 따라 적합한 아키텍처가 다릅니다.
• 향후 과제: 합성 데이터와 실제 학생 그림 간의 격차 해소, 더 큰 데이터셋을 통한 검증, 그리고 실제 교실 환경에서의 교육적 효과 검증이 필요합니다.

요약: Sketch2Feedback 은 LLM 의 할루시네이션 문제를 해결하기 위해 규칙 기반 검증을 언어 생성 단계에 선행하는 "Grammar-in-the-Loop" 방식을 도입했습니다. 이는 특정 도메인 (회로도) 에서 뛰어난 실행 가능성과 신뢰성을 제공하며, 시스템의 오류 원인을 정밀하게 규명할 수 있는 투명성을 확보했다는 점에서 교육 기술 분야에서 중요한 통찰을 제공합니다.