비 오는 거리에서 흐릿하고 픽셀이 깨진 표지판을 보고 있다고 상상해 보세요. 글자를 거의 알아볼 수 없고, 빗물에 페인트가 번져 있습니다. 만약 일반적인 사진 편집기로 이미지를 선명하게 만들려고 시도한다면, 글자가 또렷해질 수는 있겠지만 외계 문자처럼 엉망이 되거나 알아볼 수 없는 글자로 변할 수도 있습니다. 이것이 바로 "장면 텍스트 이미지 초해상도(Scene Text Image Super-Resolution)"의 까다로운 세계입니다. 이는 과학자들이 저화질의 흐릿한 텍스트 사진을 가져와 마법처럼 고화질로 복원하려고 노력하는 컴퓨터 비전의 한 분야입니다. 문제는 컴퓨터가 두 가지 일을 동시에 수행해야 한다는 점입니다. 이미지를 실제 사진처럼 보이게 만들어야 함과 동시에, 그 단어들이 책처럼 실제로 읽힐 수 있게 만들어야 합니다. 컴퓨터가 모양은 제대로 잡았지만 글자를 틀리게 적으면 이미지가 가짜처럼 보입니다. 반대로 글자는 맞췄지만 모양이 플라스틱처럼 보이면 이미지가 부자연스러워집니다. 오랫동안 컴퓨터는 외부 도구(텍스트를 먼저 추측하는 도구)를 사용하여 무엇을 그려야 할지 알려주는 "철자 검사기"를 이용해 이 문제를 해결하려 했습니다. 하지만 철자 검사기가 실수를 하면 전체 그림이 망가집니다.

여기, 외부의 도움을 받는 대신 두 가지 일을 동시에 수행하는 법을 배우는 하나의 거대하고 똑똑한 뇌를 구축하기로 결정한 새로운 연구팀이 등장했습니다. 그들은 DualTSR이라 불리는 시스템을 만들었습니다. 이것을 복잡한 요리를 배우는 동시에 레시피를 작성하는 숙련된 셰프로 생각해보세요. 요리를 만드는 요리사와 레시피를 쓰는 편집자를 따로 고용하는 대신, 이 셰프는 두 가지를 동시에 수행하며 음식의 맛이 레시피 작성을 유도하게 하고, 레씨피가 요리를 안내하도록 합니다. 실험에서 이 새로운 "셰프"는 단순히 더 잘 요리했을 뿐만 아니라, 이전 방식들에 비해 훨씬 더 빠르게 요리했으며 아주 적은 양의 에너지만을 사용했습니다. 이 시스템은 철자 검사기가 단어를 알려주지 않아도 흐릿한 텍스트를 선명하고 읽을 수 있는 단어로 바꾸면서 배경을 자연스럽게 유지해 냈습니다.

기존 방식의 문제점

수년 동안 흐릿한 텍스트를 수정하는 표준적인 방법은 두 단계의 과정을 거쳤습니다. 먼저, 흐릿한 이미지를 광학 문자 인식(OCR) 도구, 즉 텍다 로봇이 텍스트를 읽으려고 시도하는 과정을 거칩니다. 만약 로봇이 텍스트를 "CAT"이라고 추측했다면, 그 추측값을 두 번째 도구에 입력하여 이미지를 "CAT"이라는 단어처럼 보이도록 강제로 재구성합니다.

연구자들은 이러한 접근 방식이 결함이 있다고 주장합니다. 이는 마치 친구에게 당신이 흥얼거리는 노래의 가사를 맞춰보라고 부탁한 뒤, 음악가에게 그 추측된 가사에 맞춰서만 연주하라고 강요하는 것과 같습니다. 만약 친구가 "CAT" 대신 "BAT"이라고 잘못 추측한다면, 음악가는 박쥐(BAT)에 관한 노래를 연주하게 될 것이고, 원래 노래가 고양이(CAT)에 관한 것이었다는 사실을 영영 알 수 없게 됩니다. 첫 번째 단계(추측)에서의 오류가 다음 단계로 전달되어 최종 결과를 망치게 되는 것입니다. 또한, 이 두 단계 과정은 두 개의 서로 다른 모델이 서로 통신해야 하므로 느리고 번거로우며, 많은 컴퓨터 메모리와 시간을 소모합니다.

DualTSR 솔루션: 통합된 하나의 뇌

저자들은 텍는 이미지 복원과 텍스트 예측을 하나의 결합된 프로세스로 취급하는 통합 프레임워크인 DualTSR을 제안합니다. 별개의 두 모델 대신, 그들은 두 작업을 함께 처리하는 하나의 공유된 "멀티모달 트랜스포머(multimodal transformer, 일종의 AI 뇌)"를 사용합니다.

작동 원리를 이해하기 위해, 거꾸로 진행되는 "전화기 놀이(Telephone)" 게임을 상상해 보세요. 보통 전화기 놀이에서는 메시지가 사람을 거치면서 왜곡됩니다. 이 AI의 학습에서는 명확한 이미지와 명확한 텍스트에서 시작하여, 두 가지를 동시에 의도적으로 "오염"시키거나 흐릿하게 만듭니다. 그런 다음 AI에게 그 과정을 역으로 수행하도록 가르칩니다.

여기서 핵심적인 부분이 있습니다. AI는 이미지와 텍스트가 모두 흐릿한 상태인 동안 동시에 이를 복원하는 법을 배웁니다.

• AI가 이미지를 선명하게 만들려고 노력할 때, 획의 모양이 어떠해야 하는지 결정하기 위해 자신의 현재 텍스트 추측치를 참고합니다.
• AI가 텍스트를 추측하려고 노력할 때, 모양이 글자와 일치하는지 확인하기 위해 진화하는 이미지를 살펴봅니다.

그들은 이 두 가지 작업을 위해 서로 다른 두 가지 수학적 "도구"를 사용하지만, 하나의 뇌를 공유합니다.

1. 이미지를 위해: "조건부 흐름 매칭(Conditional Flow Matching)"을 사용합니다. 이것은 혼란스러운 노이즈 덩어리로부터 선명하고 고해상도의 사진으로 부드럽고 연속적으로 흐르는 강물을 상상하면 됩니다.
2. 텍스트를 위해: "흡수 상태 이산 확산(Absorbing-State Discrete Diffusion)"을 사용합니다. 이것은 마스크 뒤에 조각들이 숨겨진 퍼즐을 상상하면 됩니다. AI는 마스크를 하나씩 천천히 드러내며 전체 단어가 보일 때까지 진행합니다.

이 두 과정은 동일한 네트워크 내부에서 일어나기 때문에, 텍스트와 이미지는 끊임없이 서로 대화를 나눕니다. 만약 이미지가 "B"처럼 보이기 시작하는데 텍스트 추측이 "D"라면, 시스템은 즉시 스스로를 수정합니다. 이 모든 과정은 외부의 "철자 검사기"가 정답을 알려주지 않아도 이루어집니다.

연구 결과

연구진은 두 가지 주요 데이터셋, 즉 합성(컴퓨터 생성) 흐릿한 텍스트 데이터셋과 실제 텍스 사진 데이터셋을 사용하여 새로운 시스템을 테스트했습니다.

1. 읽기 능력과 시각적 품질 모두 우수함
합성 데이터셋(CTR-TSR)에서 DualTSR은 이전의 최첨단 모델인 DiffTSR을 포함한 모든 방법을 앞질렀습니다.

• 정확도: DiffTSR과 비교하여 텍스트 인식 정확도(ACC)를 12.78 퍼센트 포인트 향상시켰습니다.
• 시각적 품질: 이미지가 얼마나 현실적인지(FID 및 LPIPS)와 텍스트가 원본과 얼마나 잘 일치하는지(NED)에 대한 점수에서도 최고점을 기록했습니다.
• 실제 환경 테스트: 실제 세계의 사진 일부(RealCE)에서도 최고의 정확도와 시각적 품질 점수를 기록하며, 이미지가 지저도 정렬이 완벽하지 않은 상황에서도 작동함을 증명했습니다.

2. 믿기 힘들 정도로 빠르고 효율적임
가장 놀라운 발견 중 하나는 새 모델이 얼마나 빠르고 작은가 하는 점이었습니다.

• 속-도: 기존 DiffTSR 모델은 이미지 하나를 처리하는 데 13.3초가 걸렸지만, DualTSR은 단 132밀리초 만에 해냈습니다. 이는 약 101배 더 빠른 속도입니다.
• 크기: 기존 모델은 12.3억 개의 파라미터(AI의 "뇌세포")를 가졌지만, DualTSR은 2억 3백만 개에 불-과합니다. 이는 약 6.1배 더 작습니다.
• 메모리: 작동 중 피크 메모리 사용량도 4.5배 적습니다.

3. 의존하는 도구가 필요 없음
저자들은 DualTSR의 내부적인 텍스트 "추측" 능력이 기존 DiffTSR 모델이 생성한 텍스트보다 더 뛰어나다는 것을 보여주었습니다. 이는 시스템이 무엇을 써야 할지 알려주는 외부 도구 없이도, 흐릿한 모양과 올바른 단어 사이의 연결 고리를 완전히 스스로 학습할 수 있음을 입증합니다.

이것이 중요한 이유

이 논문은 이미지 생성과 텍스트 생성을 하나의 협력적인 프로세스로 통합함으로써, 더 정확할 뿐만 아니라 실질적인 활용이 가능한 시스템을 만들 수 있음을 시사합니다. 기존 방식이 자동차를 고치기 위해 정비사와 도장공을 각각 따로 부르는 것이었다면, DualTSR은 엔진을 고치면서 동시에 차를 새로 칠할 수 있는 정비사 겸 도장공을 보유하는 것과 같습니다.

연구진은 이 시스템이 매우 빠르지만, 원래 이미지가 너무 손상되어 색상이나 폰트의 단서를 전혀 찾을 수 없는 경우에는 여전히 약간 어려움을 겪는다고 언급했습니다. 그러나 대부분의 시나리오에서 이 새로운 접근 방식은 이전의 거대한 시스템이 요구하는 하드웨어보다 훨씬 접근하기 쉬운 환경에서도, 시각적으로 즐겁고 의미론적으로 올바른 텍스트를 복원하는 길을 제시합니다.