ICDAR 2026 HIPE-OCRepair Competition on LLM-Assisted OCR Post-Correction for Historical Documents

거대한 먼지 쌓인 도서관을 상상해 보세요. 수백만 권의 오래된 신문과 책들이 컴퓨터로 스캔되어 있습니다. 문제는 무엇일까요? 텍스트를 읽는 기계(OCR이라고 불리는)들이 마치 1990년대의 눈이 침침하고 근시가 있는 사서들 같습니다. 이들은 흐릿한 잉크, 구식 폰트, 찢어진 종이 때문에 눈을 가늘게 뜨고 헤매며, 실제 단어 대신 엉터리 글자를 써 내려가곤 합니다. 수십 년 동안 이를 해결하는 방법은 도서관 전체를 다시 스캔하거나(불가능함), 모든 오타를 수동으로 수정하는 것뿐이었습니다(너무 느림).

여기에 HIPE-OCRepair-2026 대회가 등장합니다. 이는 AI 전문가들이 자신들의 최신 "슈퍼 사서"인 거대 언어 모델(LLM)을 투입한 고도의 도전 과제입니다. LLM은 문장을 읽고 다음에 올 내용을 놀라운 유창함으로 추측할 수 있는, 지적이고 문맥을 갈구하는 AI입니다. 목표는 무엇일까요? 이 디지털 천재들이 엉망진고 오타투성이인 전사된 텍스트를 망가뜨리지 않으면서도 깔끔하게 정리할 수 있는지 확인하는 것입니다.

결정적인 테스트: AI는 망가뜨리지 않고 엉망인 것을 고칠 수 있을까?

주최 측은 까다로운 게임을 준비했습니다. 그들은 AI 팀들에게 1600년대까지 거슬러 올라가는 영어, 프랑스어, 독일어 역사 문헌의 노이즈 섞인 깨진 텍스트를 제공했습니다. 함정은 이것입니다. AI는 페이지의 원래 이미지를 보지 않고도 텍스트를 수정해야 했습니다. 이는 마치 원본을 비교할 수 없는 흐릿한 복사본만 보고 찢어진 편지를 고치려는 것과 같았습니다.

AI 팀들은 매우 주의해야 했습니다. 만약 AI가 "환각(hallucination)" 현상을 일으켜, 즉 존재하지 않는 단어를 자신 있게 만들어내거나, 멋져 보이려고 옛날 철자를 현대식으로 바꾸어 버린다면, 그것은 테스트 실패였습니다. 목표는 작가가 쓴 '정확한' 단어를 복구하는 것이었지, 역사를 새로 쓰는 것이 아니었습니다. 스캐너의 실수만 제거한 채 말입니다.

결과: 한 팀이 압도했으나, 마법 지팡이는 아니다

모든 상황이 정리된 후, 결과는 명확하면서도 미묘했습니다.

우승팀: BnF-Mistral 팀이 1위를 차지했으며, 그들은 단순히 이긴 것이 아니라 압도했습니다. 그들의 비결은 단순히 똑똑한 AI를 사용하는 것이 아니라, 그 AI에게 거대하고 전문화된 훈련 캠프를 제공한 것이었습니다. 그들은 240억 개의 파라미터를 가진 모델(거대한 뇌)을 가져와서 1900년 이전의 방대한 프랑스어 역사 문헌 데이터를 학습시킨 뒤, 대회의 데이터에 맞춰 미세 조정(fine-tuning)했습니다. 심지어 AI가 자신의 작업을 검토하고, 환각을 찾아내어, 최대 세 번까지 다시 시도하는 "판단 및 재시도(judge-and-retry)" 루프까지 구축했습니다.

수치는 이 방식이 얼마나 효과적이었는지 보여줍니다. 테스트 세트에서 BnF-Mistral 팀은 오류율(cMER로 불림)을 크게 낮췄습니다. 예를 들어, 노이즈가 많은 독일어 데이터셋에서 오류율을 0.0546에서 0.0082로 떨어뜨렸습니다. 프랑스어 데이터셋에서는 0.0184에서 0.0040으로 낮췄습니다. 쉬운 말로 하자면, 그들은 거의 읽을 수 없던 텍스트를 거의 완벽한 상태로 되돌려 놓았습니다.

준우승팀들: 다른 팀들은 다양한 전략을 시도했습니다. BLOCR 팀은 "제로샷(zero-shot)" 접근 방식을 사용했는데, 이는 특별한 훈련 없이 정교한 지시 사항에 의존하여 사전 학습된 AI에게 텍스트를 고치라고 요청하는 방식입니다. 그들은 특히 영어 텍스트에서 꽤 잘 해냈지만, 집중 훈련을 받은 BnF-Mistral 팀을 따라잡지는 못했습니다. 또 다른 팀인 L3i는 더 작은 모델을 미세 조정하려 했으나, 헤비급 팀들만큼의 성과는 내지 못했습니다.

"변화 없음" 베이스라인: 아무것도 하지 않는 팀도 있었습니다. 그들은 엉망인 텍스트를 그대로 제출했습니다. 놀랍게도, 가장 깨끗하고 노이즈가 적은 문서에서는 아무것도 하지 않는 것이 실제로 괜찮은 전략이었습니다. 왜일까요? 화려한 AI들이 때때로 너무 의욕이 앞섰기 때문입니다. 텍스트가 이미 99% 정확할 때, AI는 가끔 "과잉 교정(over-correct)"을 하여, 올바른 옛날 단어를 현대적인 단어로 바꾸거나, 실수라고 생각한 단어를 삭제해 버리곤 했습니다. 이는 연구자들에게 중요한 교훈을 주었습니다: AI가 너무 자신만만해지면, 더 많은 AI가 항상 더 나은 것은 아니다.

논문이 배제하는 것 (그리고 포함하는 것)

이 논문은 이 대회가 무엇을 증명하지 않았는지에 대해 매우 명확히 밝히고 있습니다.

• 이것은 "만능 해결책"이 아닙니다: 논문은 LLM이 훌터한 능력을 갖추고 있지만, 모든 문제를 즉시 해결하는 마법 지팡이는 아니라고 명시적으로 언급합니다. 성능은 언어, 문서 유형, 그리고 원래 스캔 상태에 따라 크게 달랐습니다.
• 완벽한 역사적 보존에 관한 것이 아닙니다: 점수 산정 방식은 역사적 세부 사항(특이한 옛날 문장 부호나 줄 바꿈 등)을 유지하는 것이 아니라, 검색 가능성을 위해 설계되었습니다. 논문은 도서관에서 문서를 찾는 데 있어서는, 레이아웃을 완벽하게 유지하는 것보다 단어를 정확하게 맞추는 것이 더 중요하다고 주장합니다. 따라서 AI가 단어를 검색 가능하게 만들기 위해 이상한 하이픈을 매끄럽게 다듬었다면, 그것은 비록 원본 페이지에 "외교적으로" 충실하지는 않더라도 승리로 간주되었습니다.
• 아직 해결되지 않았습니다: 저자들은 깨끗한 텍스트에서의 "과잉 교정"이 여전히 반복되는 과제임을 강조합니다. 그들은 AI가 하지 말아야 할 때도 지나치게 창의적으로 변하는 것을 완벽하게 막는 방법을 찾지 못했습니다.

호기심 많은 십 대를 위한 요약

이 대회를 자동차 수리 경연 대회라고 생각해 보세요. "자동차"는 수백만 개의 고장 난 오래된 텍est 전사본들이었습니다. "정비사"는 AI 모델들이었습니다.

• BnF-Mistral 팀은 오래된 엔진을 수년간 공부하고 풀 세트 공구를 가져온 정비사와 같았습니다. 그들은 자동차를 거의 새것처럼 잘 고쳤습니다.
• 제로샷(Zero-Shot) 팀들은 일반적인 매뉴얼만 들고 와서 "한번 고쳐보겠습니다"라고 말하는 정비사들과 같았습니다. 그들도 잘 해냈지만, 전문 정비사를 따라잡지는 못했습니다.
• **베이스라인(Baseline)**은 "그렇게 망가지지 않았으니 그냥 두겠습니다"라고 말하는 정비사였습니다. 그리고 가장 덜 망가진 자동차들에 대해서는, 그들의 말이 맞았습니다!

핵-심 결론은 특화되고 잘 훈련된 AI가 우리의 역사 접근성을 획기적으로 개선할 수 있다는 것입니다. 이는 읽을 수 없는 스캔본을 검색 가능한 텍스트로 바꿔줍니다. 하지만 논문은 우리에게 경고합니다. AI가 제멋대로 날뛰게 내버려 둔다면, 그들은 고칠 필요가 없는 것들을 "고치기" 시작하여 역사를 바꿔놓을 수도 있습니다. 디지털 도서관의 미래는 AI가 오타를 고칠 만큼 똑똑하면서도, 역사를 그대로 두어야 할 때 겸손할 수 있는 그 절묘한 균형점을 찾는 데 달려 있습니다.