WildHandBench: A Benchmark for Handwritten Text Understanding that Challenges MLLMs and Humans

우리의 디지털 세계 속 조용한 구석진 곳에서 놀라운 변화가 일어났습니다. 컴퓨터는 인쇄된 텍스트를 읽는 데 매우 능숙해져서, 이제는 스캔된 신문이나 타이핑된 보고서를 거의 완벽한 정확도로 해독할 수 있게 되었습니다. 광학 문자 인식(OCR)이라고 알려진 이 능력은 기계가 표준 문서를 인간만큼이나 잘 읽을 수 있는 수준에 도달했습니다. 하지만 이 성공의 손길이 거의 닿지 않은 거대하고 무질서한 미개척지가 남아 있습니다. 바로 필사된 페이지입니다. 균일하고 예측 가능한 인쇄된 책의 글자와 달리, 손글씨는 루프, 기울기, 얼룩이 뒤섞인 혼란스러운 풍경입니다. 이는 사람마다 크게 다를 뿐만 아니라, 종종 시간의 흐름에 따른 마모와 손상을 겪기도 합니다. 수십 년 동안 연구자들은 인쇄된 텍스트를 읽는 것과 동일한 인공지능이 과연 인간의 손글씨를 진정으로 이해할 수 있을지, 아니면 손글씨의 무질서한 현실이 완전히 다른 종류의 도전 과제를 제시하는 것인지 궁금해해 왔습니다.

바이두(Baidu Inc.)의 연구팀은 이제 이러한 기술적 격차를 메우기 위해, 기계가 정확히 어디까지 발전했는지를 측정하기 위해 설계된 새로운 테스트를 들고 등장했습니다. 그들은 의료 기록, 비즈니스 양식부터 교실 노트와 역사적 편지에 이르기까지 현실 세계를 모방한 500개의 필사 문서를 제작했습니다. 이 문서들은 깨끗하고 완벽한 스캔본이 아니었습니다. 흐릿한 잉크, 줄이 그어진 단어, 불규칙한 간격 등 실제 삶의 자연스러운 불완전함들을 포함하고 있었습니다. 컬렉션은 중국어와 영어 텍씨를 모두 포함하여 다양하게 구성되었으며, 세 가지 뚜렷한 유형의 글쓰기, 즉 자유로운 문단, 구조화된 표, 그리고 복잡한 수학 공식까지 다루었습니다. 테스트의 공정성과 엄격함을 보장하기 위해, 연구진은 단순히 컴퓨터에게 정답을 채점하도록 맡기지 않았습니다. 그들은 동일한 문서를 전사(transcribe)하는 인간 독자들을 투입하여, 기계가 도달해야 할 목표치인 '최고 수준의 성과'를 설정했습니다.

연구진이 18개의 가장 진보된 인공지능 모델을 테스트에 투입했을 때, 결과는 냉혹했습니다. 최고의 컴퓨터 모델들이 인쇄된 문서를 96% 이상의 정확도로 읽어낼 수 있었던 반면, 손글씨를 마주했을 때의 성능은 현저히 떨어졌습니다. 가장 우수한 성능을 보인 모델조차 전체 내용의 약 72%만을 제대로 읽어냈습니다. 이 격차는 인쇄된 텍스트를 읽는 능력이 손글씨를 이해하는 능력으로 자동으로 전이되지 않음을 확인시켜 주었습니다. 더욱 시사하는 바가 컸던 것은 인간 독자와의 비교였습니다. 인간은 약 77%의 점수를 기록하며, 최고의 기계를 근소하지만 의미 있는 차이로 앞섰습니다. 이 좁은 차이는 컴퓨터가 점점 가까워지고는 있지만, 인간의 눈이 가진 자연스러운 직관을 따라잡기까지는 여전히 갈 길이 멀다는 것을 보여줍니다.

그러나 가장 놀라운 발견은 기계가 틀렸다는 사실 그 자체가 아니라, '어떻게' 틀렸느냐 하는 것이었습니다. 인간 독자는 얼룩지거나 판독 불가능한 단어를 마주했을 때 대체로 신중하게 행동합니다. 그들은 빈칸을 남겨두거나 확실한 부분만을 적어 내려가며 불확실성을 인정하곤 합니다. 반면, 컴퓨터는 기이하고도 위험한 자신감을 보였습니다. 시각적 증거가 불분명할 때, 기계들은 문법적으로는 완벽하게 말이 되지만 실제 페이지에 적힌 내용과는 전혀 상관없는 단어들로 빈칸을 채워 넣었습니다. 연구진은 이 모델들이 저지른 오류 중 63%에서 91% 사이가 시각적 증거가 아닌 언어 패턴에 의존한 결과라는 것을 발견했습니다. 즉, 컴퓨터는 종이 위의 잉크가 실제로 무엇을 말하고 있는지보다는, 문장이 '무엇이라고 말해야 하는지'에 대한 추측에 기반하여 답을 내놓았던 것입니다.

이러한 차이는 인간과 기계가 정보를 처리하는 방식의 근본적인 차이를 드러냅니다. 인간은 모호함에 직면했을 때 보수적입니다. 그들은 자신의 눈을 믿으며, 보이지 않을 때는 보이지 않는다고 인정합니다. 강력한 언어 기술을 갖춘 기계들은 시각적 단서가 약해질 때 유창하지만 틀린 텍로를 만들어내는 '환각(hallucination)' 현상을 일으키기 쉽습니다. 이러한 행동은 정확성이 필수적인 의료 처방전이나 법률 문서와 같은 분야에서 특히 우려되는 부분입니다. 왜냐하면 확신에 찬 오답이 심각한 결과를 초래할 수 있기 때문입니다. 연구는 인공지능이 인쇄된 텍스트를 읽는 데 있어 놀라운 발전을 이루었지만, 인간 손글씨의 무질서하고 예측 불가능한 본질은 여전히 별개의, 해결되지 않은 과제로 남아 있다고 결론짓습니다. 기계는 단순히 글자를 보지 못하는 것이 아니라, 언제 추측을 멈춰야 할지를 알지 못하고 있습니다.