LipiNet: A Lite Robust Architecture with Scaffold-Injected Dense Residual Networks and Gated Capsule Routing for Devanagari Handwritten Character Recognition

손글씨를 읽을 수 있는 컴퓨터의 세계에서, 단순히 기계를 더 크게 만드는 것만으로 문제를 해결하려는 오랜 습관이 존재한다. 수십 년 동안 연구자들은 수백만 개의 미세하게 조정 가능한 노브(knob)들을 거대한 디지털 뇌 속에 채워 넣으며, 그저 규모가 커지면 결국 컴퓨터가 스스로 글자의 복잡한 형태를 파악해낼 것이라 기대하며 거대한 디지털 뇌를 구축해 왔다. 이러한 접근 방식은 글자가 비교적 단순한 영어와 같은 언어에는 잘 작동했지만, 더 복잡한 기하학적 규칙을 가진 스크립트에서는 한계에 부딪혔다. 컴퓨터가 규칙을 배우지 못한 채 스크립트를 학습하려고 할 때, 모든 글자의 가능한 모든 변형을 암기해야 하므로 엄청난 양의 메모리와 처리 능력이 필요하기 때문이다. 이 분야에 남아있는 질문은 이 거대한 규모가 정말로 필수적인가, 아니면 컴퓨터가 도움을 줄 수 있는 출발점을 얻기보다는 맨바닥에서부터 배우려고 하는 점이 문제인가 하는 것이다.

네팔 카트만두 대학교의 연구팀은 데바나가리 스크립트(힌디어, 산스크리트어 및 여러 다른 언어에서 사용되는 문자 체계)의 독특한 기하학적 구조를 존중하는 색다른 전진 방식을 제안했다. 그들은 일반적인 컴퓨터가 이러한 글자의 구조를 추측하도록 강요하는 대신, 컴퓨터의 아키텍처를 해당 스크립트가 이미 따르고 있는 특정 규칙을 중심으로 구축하는 것이 훨씬 더 효율적이라고 주장한다. 데바나가리에서는 거의 모든 문자가 상단의 연속적인 수평선인 '시로레카(shirorekha)'에 매달려 있다. 이 선은 단순히 장식적인 특징이 아니라, 글자를 정의하는 근본적인 구조적 규칙이다. 연구진은 컴퓨터에게 이 선을 찾도록 명시적으로 가르치고 이 선에 학습 과정을 고정함으로써, 현재 사용되는 거대 모델들보다 더 작고 빠르면서도 더 정확한 시스템을 만들 수 있다는 것을 발견했다.

연구진은 이 작업을 위해 특별히 설계된 가볍고 견고한 아키텍처인 '리피넷(LipiNet)'이라 불리는 새로운 시스템을 도입했다. 모든 필기 문자를 분류해야 할 일반적인 이미지로 취급하는 기존 모델들과 달리, 리피넷은 특정 '비계(scaffold, 가설물)'를 염두에 두고 구축되었다. 컴퓨터의 학습 과정을 이미로부터 더 복잡한 세부 사항을 추출하는 일련의 층(layer)으로 상상해 보라. 전통적인 시스템에서 이러한 층들은 일반적이다. 즉, 최종 대상이 무엇인지 모른 채 가장자리, 곡선, 질감만을 찾는다. 그러나 리피넷은 학습 과정의 모든 층에 시로레카에 대한 지속적인 상기물을 주입한다. 이는 매우 초기 단계부터 이미지를 구체적으로 스캔하여 수평 상단 바를 찾는 특수 필터를 사용함으로써 이루어진다. 이 필터는 구조적 가이드, 즉 비계를 생성하여 네트워크를 통해 전달되며, 이를 통해 컴퓨터가 스크박트의 가장 중요한 기하학적 규칙을 결코 놓치지 않도록 보장한다.

이를 구현하기 위해 연구팀은 네트워크 시작 부분에 이중 경로 시스템을 설계했다. 한 경로는 이미지를 정상적으로 살펴보며 일반적인 질감과 형태를 찾고, 다른 경로는 오로지 그 수평 상단 바를 찾는 데 전념한다. 이 두 정보 스트림은 결합되며, 이때 구조적 가이드는 컴퓨터가 스크립트의 기하학에 집중할 수 있도록 유지하는 가중치 앵커 역할을 한다. 이 앵커는 일회성 체크가 아니다. 컴퓨터가 이미지를 점점 더 깊게 처리함에 따라 반복적으로 주입된다. 연구진은 이 앵커의 다양한 강도를 테스트했으며, 특정 수준의 중간 정도의 가중치를 사용했을 때 컴퓨터가 전체적인 구조를 존중하면서도 각 글자의 고유한 세부 사항을 배울 수 있다는 것을 발견했다. 만약 앵커가 너무 약하면 컴퓨터는 규칙을 잊어버렸고, 너무 강하면 글자를 구별하는 고유한 세부 사항을 무시했다.

컴퓨터가 이러한 구조화된 층들을 통해 이미지를 처리하고 나면, 이제 어떤 글자를 보고 있는지 결정해야 한다. 연구진은 스마트한 투표 시스템처럼 작동하는 최종 구성 요소를 추가했다. 단순히 최종 이미지만 보고 추측하는 대신, 이 시스템은 정보를 서로 다른 글자 클래스를 나타내는 그룹으로 조직한다. 이는 이미지의 특징이 알려진 글자 패턴과 얼마나 잘 일치하는지 확인하는 간소화된 방법을 사용하는데, 이 과정은 기존 방식보다 훨씬 빠르고 적은 컴퓨팅 능력을 요구한다. 이 마지막 단계는 일반적인 이미지 분석과 특정 구조적 지식을 결합하여, 획의 모양과 상단 바에 대한 위치 관계를 모두 바탕으로 시스템이 확신 있는 결정을 내릴 수 있게 한다.

연구진이 46개의 데바나가리 문자로 구성된 표준 데이터셋으로 리피넷을 테스트했을 때, 결과는 놀라웠다. 이 시스템은 99.75%의 테스트 정확도를 달了一种, 이는 이 특정 벤치마크에서 이전의 어떤 방식보다 높은 수치였다. 더욱 중요한 것은, 리피넷이 단 390만 개의 조정 가능한 파라미터만으로 이 성과를 냈다는 점이다. 이해를 돕기 위해 비교하자면, 이전의 최고 성능 모델들은 유사하거나 약간 낮은 수준의 정확도에 도달하기 위해 1,700만 개에서 3,900만 개의 파라미터가 필요했다. 즉, 리피넷은 이전 모델들보다 약 4배에서 10배 더 효율적이다. 연구진은 이러한 개선이 우연이 아님을 확인했다. 시스템에서 구조적 비계를 제거했을 때 정확도가 눈에 띄게 떨어졌으며, 이는 특정 설계 선택이 성공의 핵심이었음을 입증한다.

연구는 또한 컴퓨터가 이러한 구조적 도움을 받지 못할 때 어떤 일이 발생하는지도 탐구했다. 비계가 제거된 실험 환경에서 시스템의 정확도는 작지만 유의미한 폭으로 감소했으며, 이는 컴퓨터가 스크립트의 기하학적 안내 없이 동일한 수준의 정밀도를 유지하는 데 어려움을 겪었음을 보여준다. 이는 효율성 향상이 단순히 더 많은 데이터나 더 큰 모델을 가졌기 때문이 아니라, 설계 자체에서 제공된 정보 덕분임을 시사한다. 또한 연구진은 그들의 시스템이 특정 위치의 단 하나의 획 차이로 구별되는 매우 유사한 글자들을 구별하는 데 특히 뛰어나다는 것을 발견했다. 상단 바를 기억 속에 닻처럼 고정함으로써, 컴퓨터는 그 결정적인 차이를 만드는 세부 사항에 주의를 집중할 수 있었다.

이 작업은 인공지능에서 '더 큰 것이 항상 더 좋다'는 통념에 도전한다. 이는 데바나가리 스크립트의 구조와 같이 강력하고 일관된 규칙이 존재하는 작업의 경우, 모델의 크기를 단순히 키우는 것보다 그 규칙을 컴퓨터의 아키텍처에 직접 구축하는 것이 더 강력한 전략임을 보여준다. 연구진은 이 접근 방식이 모든 손글씨 인식 문제를 해결한다고 주장하지는 않았으며, 자신들의 연구가 고립된 문자에 초점을 맞추고 있고 연결된 텍스트나 전체 단어를 인식하는 것은 향후 과제로 남아 있음을 언급했다. 그러나 그들의 발견은 명확한 길을 제시한다. 문제의 특수한 성격을 이해하고 그 이해를 기계에 인코딩함으로써, 우리는 더 똑똑할 뿐만 아니라 더 가볍고 효율적인 시스템을 구축할 수 있다. 리피넷의 성공은 손글씨 인식의 미래가 더 큰 블랙박스를 만드는 것이 아니라, 읽어야 할 언어의 독특한 모양과 규칙에 사려 깊게 정렬된 시스템을 설계하는 데 있을 수 있음을 시사한다.