AI-Driven Spline-Based Segmentation of Handwritten Physico-Mathematical Documents

로봇에게 엉망인 필기 노트를 읽는 법을 가르치려 한다고 상상해 보십시오. 당신은 로봇에게 구불구불한 글자나 이상한 기호를 인식시키는 것이 가장 어려운 부분이라고 생각할지도 모릅니다. 하지만 과학과 수학의 세계에서 진짜 골칫거리는 글자 그 자체가 아니라, 글자가 놓여 있는 '선'입니다. 물리학 공식을 쓰는 학생은 교과서처럼 완벽하게 곧은 줄 위에 쓰지 않습니다. 그들은 위아래, 좌우로 움직이며, 때로는 도표를 따라 휘어지거나 분수를 쌓아 올리며 요동치고, 튀어 오르고, 소용돌이치는 경로 위에 글을 씁니다. 만약 이 엉망인 페이지를 컴퓨터에 입력하기 위해 깔끔한 직사각형 상자로 자르려고 시도한다면, 글자의 윗부분을 잘라버리거나, 중요한 기호를 관통하거나, 서로 다른 두 공식을 하나로 붙여버리는 일이 발생합니다. 이는 마치 구불구불한 강물을 정사각형 양동이에 담으려는 것과 같습니다. 물은 사방으로 넘쳐흐르고, 원래의 형태는 사라져 버립니다. 이것이 바로 과학 분야에서 '광학 문자 인식(OCR)'이 직면한 핵심 문제입니다. 즉, 컴퓨터가 정해진 격자에 억지로 맞추는 대신, 인간처럼 필기의 자연스러운 곡선을 존중하며 페이지를 바라보게 만드는 것입니다.

이 논문은 이러한 혼란을 다루는 영리하고 새로운 방법인 '스플라인 기반 레이아웃 정규화(Spline-Based Layout Normalisation, SBLN)'를 소개합니다. 페이지를 직선 칼로 자르는 대신, 연구진은 유연하고 형태를 유지하는 '스플라인(spline)'을 사용합니다. 이는 마치 매끄럽고 구부러지는 자와 같습니다. 그들은 '코컨벡스 이차 스플라인(coconvex quadratic splines)'이라는 특수한 수학적 방식을 사용하여, 가짜 돌출부나 흔들림 없이 필기의 물결치는 기준선을 추적합니다. 완벽한 곡선을 찾아낸 후, 그들은 이 곡선을 따라 페이지를 절단하여 물결치는 줄을 곧고 읽기 쉬운 띠 형태로 변환합니다. 그런 다음 이 띠들을 사용하여 컴퓨터 비전 모델(YOLO 탐지기)이 공식과 도표를 식별하도록 학습시킵니다. 결과는 인상적입니다. 이 곡선 추적 방-식을 사용함으로써 시스템은 필기된 수학 및 물리 콘텐츠를 훨씬 더 잘 찾아낼 수 있게 되었으며, 기존의 직선 절단 방식과 비교했을 때 특정 유형의 오류에 대한 재현율(recall)을 최대 99%까지 향상시켰습니다. 이는 우리가 필기의 자연스러운 기하학적 구조를 존중함으로써, 로봇이 우리의 과학 노트를 훨씬 더 똑똑하게 읽을 수 있게 된다는 것을 시사합니다.

문제점: 수학 노트의 "둥근 구멍에 박힌 네모난 말뚝"

당신이 탐정이 되어 미스터리를 풀려고 하는데, 단서들이 구겨지고 접혔다가 다시 펼쳐진 종이 위에 적혀 있다고 상상해 보십시오. 그 글씨는 단순히 지저한 것이 아니라, 마치 춤을 추는 듯합니다. 손으로 쓴 물리학 및 수학 시험에서 학생들은 직선으로 쓰지 않습니다. 그들은 기준선이 진동하고, 휘어지고, 뒤틀리는 곳에 글을 씁니다. 때로는 공식이 너무 복잡해서 스스로 겹쳐 쌓이기도 하고, 도표 때문에 글씨가 휘어지기도 합니다.

오랫동안 이러한 문서를 읽으려는 컴퓨터(OCR 과정)는 매우 투박한 도구인 '직사각형 상자'를 사용해 왔습니다. 컴퓨터는 텍스트가 마치 열병 행렬의 군인들처럼 깔끔하고 곧은 줄에 앉아 있다고 가정합니다. 페이지를 수평 띠로 자른 다음 그 띠들을 상자로 나누려고 시도합니다. 하지만 구불구불한 강물을 정사각형 상자에 담으려 할 때, 가장자리를 잃게 됩니다. 'y'의 윗부분을 잘라내거나 'g'의 아랫부분을 잘라버리거나, 실수로 분수 막대를 반으로 자르게 됩니다. 벡터 화살표나 아래첨자 같은 작은 기호 하나가 방정식 전체의 의미를 바꿀 수 있는 과학의 세계에서, 이러한 실수는 치명적입니다. 컴퓨터는 부서진 파편만을 보고 포기해 버립니다.

해결책: 유연한 자

바실 잘리즈코(Vasyl Zalizko)가 이끄는 연구진은 곡선과 싸우는 대신 곡선을 타기로 결정했습니다. 그들은 **스플라인 기반 레이아웃 정규화(SBLN)**라는 방법을 도입했습니다.

'스플라인'을 제도사가 매끄러운 곡선을 그릴 때 사용하는 유연한 자라고 생각하십시오. 이 경우, 컴퓨터는 그 자의 특별한 수학적 버전인 **코컨벡스 이차 스플라인(coconvex quadratic spline)**을 사용합니다. 이것은 단순한 곡선이 아닙니다. 혼란을 주지 않고 필기를 따라가는 똑똑한 곡선입니다. 이 곡선은 글쓰기가 시작되고 끝나는 점들을 살펴보고, 글씨의 자연스러운 형태(볼록한 부분이나 오목한 부분)를 유지하며 선을 그립니다. 결정적으로, 컴퓨터가 단순한 수학으로 선을 예측할 때 흔히 발생하는 '흔들림'이나 가짜 돌출부를 방지합니다.

컴퓨터가 필기를 따라 이 완벽하고 물결치는 선을 그려내면, 마법 같은 일이 일어납니다. 바로 그 선을 따라 페이지를 자르는 것입니다. 페이지를 직선의 수평 띠로 자르는 대신, 필기자의 손을 따라 움직이는 곡선 띠로 자릅니다. 그런 다음, 컴퓨터가 읽을 수 있도록 이 띠들을 '펴서' 곧게 만듭니다. 이는 마치 벽에 붙은 구불구불한 테이프를 떼어내어 테이블 위에 평평하게 펼치는 것과 같습니다. 갑자기 물결치던 텍스트가 완벽하게 곧고 읽기 쉬운 모습으로 변합니다.

실험: 곡선 수업으로 로봇 가르치기

이 아이디어가 효과가 있는지 테스트하기 위해 팀은 공정한 대결을 준비했습니다. 그들은 강력한 AI 탐지기인 YOLOv8-s(이미지 내 객체를 찾는 컴퓨터 비전 모델의 일종)를 사용했습니다. 이 탐지기는 두 가지 방식으로 학습되었습니다:

1. 기존 방식: 표준적인 직선 직사각형 절단과 일반적인 데이터 기법을 사용함.
2. 새로운 방식 (SBLN): 곡선형 스플라인 가이드 절단과 '스플라인 가이드 기하학적 증강(spline-guided geometric augmentation)'이라는 특별한 기법을 사용함.

'증강(augmentation)' 부분은 창의적인 선생님과 같습니다. 시스템은 단순히 1,300페이지의 손글씨 시험지를 보여주는 것에 그치지 않고, 그 페이지들을 곡선 띠로 자른 뒤, 그 띠들을 필기 곡선을 따라 부드럽게 왜곡하고 회전시켜 340만 개의 새롭고 약간씩 다른 버전의 띠를 생성했습니다. 이를 통해 사람이 직접 새 페이지를 쓸 필요 없이도, 컴퓨터가 이상한 각도나 울퉁불퉁한 선 위에 쓰인 수학 공식도 인식할 수 있도록 학습시켰습니다.

결과: 수학 읽기의 거대한 도약

결과는 명확하고 강력했습니다. 컴퓨터가 새로운 스플라인 방식을 사용했을 때, 훨씬 더 뛰어난 탐정 역할을 수행했습니다:

• 놓친 부분 찾기: 가장 큰 개선은 이전에 놓쳤던 요소들을 찾아내는 능력이었습니다. 손글씨 수학 텍스트(HW)의 경우, 모든 조각을 찾아내는 능력(재현율)이 0.552에서 0.886으로 뛰었습니다. 이는 **60.5%**의 개선입니다. 지저분하거나 지워진 글씨(HWerror)의 경우, 찾는 비율이 0.403에서 0.803으로 급증하며 무려 **99.3%**의 개선을 보였습니다.
• 전반적인 정확도: 시스템은 0.925의 높은 정밀도(precision)와 0.859의 재현율(recall)을 달enc성했습니다. 객체를 올바르게 찾는 종합 점수인 mAP@0.5는 0.915로, 이처럼 어려운 작업에서는 매우 높은 수준입니다.
• 오류 감소: 기존 방식은 페이지를 가로지르는 상자를 그리거나 관련 없는 텍스트를 가로지르는 '환각(hallucination)' 현상을 자주 일으켰습니다. 새로운 방식은 자연스러운 곡선을 따름으로써 이러한 기이한 실수들을 멈췄습니다. 상자들이 실제 필기를 감싸듯 그려지면서 공식이 온전하게 유지되었습니다.

논문은 이 접근 방식이 물결치는 선으로 인한 '노이즈'를 줄여주기 때문에 효과적이라고 설명합니다. 컴퓨터가 글자를 인식하기 전에 기하학적 구조를 먼저 곧게 펴줌으로써, 수학 문제가 훨씬 쉬워지는 것입니다. 컴퓨터는 선이 휘었는지 곧은지 추측할 필요 없이, 그저 곧은 선을 보게 됩니다.

미래에 대한 의미

이 연구가 수학을 읽는 문제를 영원히 해결했다고 주장하는 것은 아니지만, 강력한 새로운 방향을 제시합니다. 즉, 손으로 쓴 과학 문서를 읽는 데 있어 가장 큰 병목 현상은 AI의 글자 인식 능력이 아니라, 애초에 페이지를 제대로 '보는' 능력에 있다는 것을 보여줍니다. 이러한 유연하고 형태를 유지하는 스플라인을 사용함으로써, 우리는 혼란스럽고 구불구불한 페이지를 깨끗하고 읽기 쉬운 페이지로 바꿀 수 있습니다.

저자들은 시스템이 이제 조각들을 찾는 데는 매우 능숙해졌지만, 수학의 '의미'(예를 들어, 올바른 공식과 비슷해 보이는 학생의 실수를 구분하는 것)를 이해하는 데는 여전히 도움이 필요하다고 언급했습니다. 하지만 페이지를 적절한 조각으로 자르는 작업에 있어서, 이 '곡선 자' 방식은 게임 체인저입니다. 이는 미래에 로봇에게 우리의 과학 노트를 읽는 법을 가르치려면, 노트를 로봇의 격자에 맞추도록 강요하는 것이 아니라, 로봇이 우리 필기의 곡선을 따라가는 법을 배우게 해야 한다는 것을 시사합니다.