Handwritten German Administrative Forms (HGAF): A Dataset for Handwriting Recognition with Fine-Tuned and Zero-Shot Baselines

독일 전역의 사무실과 정부 기관의 조용한 구석에는 여전히 방대한 양의 서류가 원래의 물리적 형태로 존재합니다. 디지털 시대임에도 불구하고, 그곳의 기업 중 거의 40%는 여전히 행정 업무의 절반을 종이로 처리하고 있으며, 다른 많은 기업은 이보다 더 많이 종이에 의존하고 있습니다. 이는 지속적인 병목 현상을 야기합니다. 즉, 양식에 적힌 손글씨 메모를 유용한 디지털 데이터로 변환해야 하는 문제입니다. 컴퓨터는 인쇄된 텍스트를 읽는 데는 매우 뛰어나게 발전했지만, 인간의 손글씨, 특히 연속된 문장이 아니라 페이지 곳에 작고 고립된 상자 형태로 흩어져 있는 글씨를 읽는 데는 크게 어려움을 겪습니다. 과제는 단순히 글자를 인식하는 것뿐만 아니라, 어떤 단어가 이름, 날짜, 서명와 같은 특정 필드에 속하는지를 이해하는 것입니다. 민감한 개인 정보를 다루는 조직들에게 해결책은 이러한 문서를 클라우드 서버로 보내는 방식이 될 수 없습니다. 데이터는 반드시 기업 자체의 보안 구역 내에 머물러야 합니다. 이러한 제약은 특화된 맞춤형 소프트웨어를 구축할 것인지, 아니면 이전에 본 적 없는 특정 양식을 접하게 될 강력한 범용 인공지능을 사용할 것인지 사이의 어려운 선택을 강요합니다.

카를스루에 응용과학대학교의 연구팀은 바로 이 시나리오를 위한 새로운 벤치마크를 구축함으로써 이 수수께끼를 풀기 위해 나섰습니다. 그들은 291개의 실제 행정 양식을 수집하고 95명의 서로 다른 사람들이 작성하게 하여 '필기 독일 행정 양식(Handwritten German Administrative Forms)'이라는 데이터셋을 만들었습니다. 데이터의 개인정보 보호를 위반하지 않고 공개적으로 공유할 수 있도록, 내용은 합성된 것이었습니다. 즉, 이름과 주소는 가짜였지만 필체는 실제이며 다양했습니다. 연구진은 A, B, C라고 명명된 세 가지 서로 다른 버전의 동일한 양식을 설계했습니다. 레이아웃 A는 넓고 작성하기 쉬웠으며, 레이아웃 B는 사람들이 더 작게 쓰도록 유도하는 조밀한 표 형태였고, 레이아웃 C는 작성자가 답변을 배치할 위치를 스스로 결정하도록 상자가 아예 없었습니다. 결정적으로, 모든 작성자는 세 가지 레이아웃 모두에 동일한 정보를 기입했으며, 이를 통해 연구팀은 종이의 모양과 구조가 컴퓨터의 텍칭 능력에 어떻게 영향을 미치는지 격리하여 분석할 수 있었습니다.

이 연구는 양식을 디지털화하는 두 가지 서로 다른 접근 방식을 비교했습니다. 첫 번째는 "전문가(specialist)" 파이프라인으로, 컴퓨터 프로그램이 먼저 각 개별 필기 상자를 잘라내고 정제한 다음, 수천 개의 유사한 사례를 통해 특별히 학습된 모델에 입력하는 전통적인 방식입니다. 두 번째 접근 방식은 비전-언어 모델(vision-language models)을 사용한 것으로, 이는 새로운 작업마다 재학습할 필요 없이 전체 이미지를 보고 인간처럼 이해할 수 있는 유형의 인공지능입니다. 연구진은 어떤 방식이 더 정확한지, 그리고 어떤 방식이 양식의 디자인 변화에도 깨지지 않고 잘 대응할 수 있는지 확인하기 위해 세 가지 레이아웃에 대해 이 시스템들을 테스트했습니다.

결과는 권력의 균형이 놀랍게 변화했음을 보여주었습니다. 단순하고 여유로운 레이아웃 A에서는 일반 인공지능 모델이 고도로 훈련된 전문가 모델보다 더 나은 성능을 보였습니다. 두 개의 비전-언어 모델은 전문가 파이프라인이 해당 레이아웃에 대해 정밀하게 미세 조정되었음에도 불구하고 전문가보다 오류가 적었습니다. 전문가 모델은 글씨가 덜 제한적인 긴 자유 텍스트 주석 필드에서 가장 큰 어려움을 겪은 반-면, 일반 모델은 이러한 섹션을 훨씬 더 쉽게 처리했습니다. 연구진이 더 어려운 레이아웃인 B와 C로 넘어갔을 때, 그 격차는 더 벌어졌습니다. 상자의 위치를 정확히 알아야 하는 것에 의존했던 전문가 모델은 상자가 작아지거나 아예 없어지자 심각하게 실패하기 시작했습니다. 전문가는 새로운 시각적 구조에 적응하지 못했지만, 일반 모델은 레이아웃의 변화에도 불구하고 텍스트를 정확하게 읽어내며 견고함을 유지했습니다.

가장 중요한 발견 중 하나는 출력의 신뢰성에 관한 것이었습니다. 일반 모델들이 평균적으로 더 정확했지만, 연구진은 평가된 어떤 시스템도 인간 검토자를 완전히 대체할 수는 없다는 것을 발견했습니다. 가장 성능이 좋은 온프레미스(on-premise) 설정조차 단 하나의 오류도 없이 양식을 전사하는 데 성공한 경우는 약 7.7%에 불 불과했습니다. 이는 대다수의 양식에 대해 여전히 인간이 작업 내용을 확인해야 함을 의미합니다. 그러나 연구는 유연성 측면에서 일반 모델의 주요 장점을 강조했습니다. 전문가 파이프라인을 새로운 양식 디자인에 적응시키려면 엔지니어가 모델을 재학습시키고 텍스트 상자를 잘라내는 코드를 다시 작성해야 합니다. 반면, 일반 모델은 재학습 없이 주어진 지침을 변경하는 것만으로도 새로운 레이아웃에 적응할 수 있습니다. 이는 많은 종류의 양식을 다루는 조직들에게, 인간의 검증이 여전히 필요하다는 점을 수용한다면, 각 양식마다 맞춤형 시스템을 구축하는 것보다 유연한 범용 모델을 사용하는 것이 더 실용적일 수 있음을 시사합니다.

연구는 또한 현재 기술의 한계에 대해서도 언급했습니다. 일반 모델은 성능이 좋았지만, 단어를 반복하거나 작성자가 무언가를 지운 것을 인식하지 못하는 등의 이상한 오류를 범하기도 했습니다. 한편, 전문가 모델은 취약했습니다. 만약 작성자가 선 밖으로 약간 벗어나 써서 컴퓨터가 텍스트 상자를 완벽하게 찾아내지 못하면, 해당 필드 전체를 잘못 읽게 되었습니다. 연구진은 인공지능이 큰 진전을 이루었지만, 필기 양식의 완전 자동화된 무오류 디지털화라는 꿈은 아직 멀었다고 결론지었습니다. 가장 효과적인 길은 하이브리드 접근 방식으로 보입니다. 즉, 강력한 일반 모델을 사용하여 텍스트를 읽는 힘든 작업을 수행하게 하고, 불가피한 실수를 잡아내기 위해 인간의 감독에 의존하면서, 동시에 민감한 데이터를 조직 내부의 보안 인프라 안에 안전하게 유지하는 방식입니다.