💻 computer science

One Patch Is Enough: Reinforcement-Optimized Visual Token Grounding for MLLM-Based Scene Text Spotting

이 논문은 SPaSO를 통해 선택된 단일 앵커 시각적 토큰을 통해 각 텍스트 인스턴스를 라우팅하고, 방향성 임베딩 정렬 및 패치 강화 디코딩으로 정교화함으로써 기존 방식보다 우수한 정밀도를 달성하도록 설계된 강화 학습 최적화 프레임워크인 SPaTS를 제안하며, 이를 통해 MLLM의 장면 텍스트 검출 성능을 향상시킨다.

원저자: Rui Tang, Wentao Yang, Peirong Zhang, Yongxin Shi, Shun Zhang, Huiguo He, Lianwen Jin

게시일 2026-07-31

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Rui Tang, Wentao Yang, Peirong Zhang, Yongxin Shi, Shun Zhang, Huiguo He, Lianwen Jin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 복잡하고 혼란스러운 도시 거리에서 표지판을 읽도록 로봇을 가르치려 한다고 상상해 보세요. 이 로봇은 언어를 이해하고 이야기를 쓸 수 있는 아주 똑똑한 두뇌를 가졌지만, 사진 속 단어가 정확히 어디에 있는지 손가락으로 가리키는 데에는 젬병입니다. 이것이 바로 "장면 텍스트 검출(Scene Text Spotting)"이라 불리는 분야의 세계입니다. 컴퓨터가 단어를 읽는 것과 그 주변에 상자를 그리는 것, 이 두 가지를 동시에 수행하도록 만드는 것이죠. 오랫동안 연구자들은 로봇에게 전체 이미지를 보여준 뒤 숫자를 사용해 위치를 추측하게 하는 방식으로 이 문제를 해결하려 했습니다(예: "x는 10, y는 20"). 하지만 숫자는 지저받고 부정확할 수 있습니다. 최근에는 과학자들이 다른 기술을 시도했습니다. 로봇에게 이미지의 작은 "패치(patch)", 즉 격자 모양의 작은 타일들을 가리키게 하여 "단어가 여기 있다"라고 말하게 하는 방식입니다. 이는 마치 숨겨진 메시지를 찾기 위해 바닥의 특정 타일을 가리키라고 요청하는 것과 같습니다.

하지만 문제가 있습니다. 만약 로봇에게 단어를 찾기 위해 너무 많은 타일을 한꺼번에 가리키라고 하면, 로봇은 종종 혼란에 빠집니다. 단어를 제대로 가리킬 수도 있지만, 실수로 배경이나 하늘, 혹은 바로 옆에 있는 다른 단어를 가리킬 수도 있습니다. 이는 마치 붐비는 방 안에서 특정 친구를 찾기 위해 사람 무리 전체를 가리키는 것과 같습니다. 정답인 사람을 가리킬 수는 있겠지만, 동시에 낯선 사람들도 함께 가리키게 되어 지시 내용이 노이즈가 섞이고 불분명해지는 것입니다. 이 논문은 단순하면서도 대담한 질문을 던집니다. "만약 각 단어에 대해 단 하나의 완벽한 타일만을 가리키게 한다면 어떨까? 그것만으로 충분할까?" 남중국 공과대학교의 연구진인 저자들은 그렇다고 답합니다. 즉, 하나의 패치를 선택하는 법을 배운다면 하나만으로도 충분히 더 낫다는 것입니다. 그들은 강화 학습(Reinforcement Learning)이라는 특별한 종류의 "시행착오" 학습을 사용하여 로봇이 어떻게 단 하나의 최적의 타일을 고를지 가르치고, 그 후 나머지 이미지를 사용하여 단어의 완벽한 윤곽을 그려내는 새로운 시스템을 구축했습니다.

단일 패치의 혁명

이 논문은 SPaTS(Single-Patch Text Spotting)라는 새로운 프레임워크를 소개합니다. 기존의 방식이 모두가 동시에 의견을 외치는 무질서한 조별 과제라면, 새로운 SPaTS 방식은 한 사람이 그룹 전체를 대표하여 말하도록 선택된 절제된 팀과 같습니다. AI가 여러 이미지 패치(사진의 작은 사각형들)로부터 정보를 모으려고 노력하는 대신, SPaT는 모델이 읽고자 하는 각 단어에 대해 단 하나의 "앵커(anchor)" 패치를 선택하도록 강제합니다.

왜 이것이 더 나을까요? 저자들은 여러 개의 패치를 사용할 때 AI가 "노이즈"가 생긴다는 것을 발견했습니다. AI가 읽고 있는 단어를 배경이나 주변 단어와 섞어버려 혼란을 야기한다는 것입니다. 이는 오케stra의 다른 악기들이 크게 연주되는 동안 단 하나의 악기 소리에 집중하려 할 때 신호가 소실되는 것과 같습니다. 하나의 고품질 패치를 선택하도록 강제함으로써 신호는 매우 명확해집니다. 모델은 "나는 이 특정한 지점을 본다"라고 말한 뒤, 그 지점을 시작점으로 삼아 단어의 나머지 형태를 파악합니다.

"스마트한 추측" 게임 (SPaSO)

여기 까다로운 문제가 있습니다. AI는 어떤 단 하나의 패치가 선택하기에 "최선"인지 어떻게 알 수 있을까요? "42번 패치를 골라라"라고 알려주는 선생님은 없습니다. 저자들은 이것이 강화 학습(Reinforcement Learning), 즉 간식을 주며 훈련시키는 강아지 훈련과 같은 작업에 완벽하다는 것을 깨달았습니다.

그들은 SPaSO(Single-Patch Selective Optimization)라고 불리는 시스템을 만들었습니다. AI가 어떤 타일에 단어가 들어있는지 맞히는 게임을 한다고 상상해 보세요.

추측: AI가 패치를 하나 고릅니다.
보상: 만약 선택한 패치가 단어를 올바르게 읽고 상자를 정확하게 그리는 데 도움이 된다면, AI는 "간식"(보상 점수)을 받습니다. 만약 나쁜 패치를 골라 실패한다면 간식을 받지 못합니다.
학습: 시간이 흐르면서 AI는 특정 유형의 패치를 고르는 것이 간식으로 이어진다는 것을 배우게 되며, 인간이 매번 정답을 보여주지 않아도 스스로 올바른 패치를 고르는 데 매우 능숙해집니다.

저자들은 이 게임을 위해 두 가지 구체적인 "간식"을 설계했습니다. 하나는 최종 결과(텍스트와 상자)가 좋은지 확인하는 보상이고, 다른 하나는 AI가 적어도 상위 선택지 중에 올바른 패치를 고려했는지 확인하는 보상입니다. 이 이중 보상 시스템은 AI가 단순히 운 좋게 한 번 맞히는 것이 아니라, 일관되게 최선의 증거를 찾을 수 있도록 보장합니다.

비결: 방향과 형태

이 단일 패치 아이디어가 완벽하게 작동하도록 하기 위해, 팀은 AI의 두뇌에 두 가지 영리한 업그레이드를 추가했습니다.

방향 임베딩 정렬 (Directional Embedding Alignment, DEA): AI가 기억하는 패스의 모습이 마치 손전등 빛줄기와 같다고 상상해 보세요. 때때로 그 빛줄기는 매우 밝지만(높은 에너지), 방향이 잘못되어 있을 수 있습니다. 저자들은 AI가 패치가 실제로 무엇인지보다는 그 패치의 "밝기"에 의해 주의가 분산된다는 것을 깨달았습니다. 그들은 "밝기(크기)"와 "방향(패치가 실제로 나타내는 것)"을 분리하는 필터를 구축했습니다. 이는 AI가 정보가 얼마나 크게 외치느냐가 아니라, 정보가 어디를 향하고 있는지에 집중하도록 강제합니다. 이는 로봇에게 "빛이 얼마나 밝은지는 무시하고, 빛줄기가 어디를 가리키는지 봐라"라고 말하는 것과 같습니다.
패치 강화 디코딩 (Patch-Enhanced Decoding, PED): AI가 단 하나의 "앵커" 패치를 선택한 후에도, 단어의 전체 형태(곡선이거나 긴 형태일 수 있음)를 알아내야 합니다. 단일 패치는 시작점일 뿐입니다. 저자들은 그 단일 패치를 AI의 언어 이해력과 결합하는 디코더를 구축했습니다. 이는 보물 지도의 단서 하나를 가져와서 지형에 대한 지식과 결합하여 전체 경로를 그려내는 것과 같습니다. 이를 통해 AI는 단일 패치를 가이드로 삼아 전체 이미지를 다시 살펴보며 텍스트 주변에 정교하고 곡선적인 선을 그릴 수 있습니다.

결과: 적을수록 많다 (Less is More)

연구팀은 곡선, 기울어짐, 빽빽한 텍스트가 포함된 여러 도전적인 데이터셋을 사용하여 새로운 시스템을 테스트했습니다. 결과는 인상적이었습니다. 20억 또는 40억 개의 파라미터를 사용하는 이 모델(AI 치고는 상대적으로 작은 크기)은 훨씬 더 크고 비용이 많이 드는 거대 폐쇄형 모델들을 능가했습니다.

실제로 일부 테스트에서 이들의 "단일 패치" 방식은 여러 개의 패치를 사용하려는 방법들보다 현저히 뛰어난 성과를 보였습니다. 예를 들어, CTW1500이라는 데이터셋에서 이들의 방식은 **81.2%**의 F-measure(정확도 점수)를 달성한 반면, 다른 방법들은 70%에 도달하는 데 어려움을 겪었습니다. 이 논문은 여러 패치의 노이즈를 제거하고 하나의 완벽한 앵커에 집중함으로써 AI가 훨씬 더 정밀해지고 혼란이 줄어든다는 것을 시사합니다.

이것이 중요한 이유

이 논문은 AI가 텍스트를 읽는 세계에서 **"적을수록 더 많다(Less is more)"**고 주장합니다. "더 많은 패치가 더 나은 이해를 만든다"는 생각을 거부함으로써, 저자들은 스마트한 시행착오 학습에 의해 유도되는 집중된 단일 지점 접근 방식이 무차별적인 힘(brute force)보다 복잡한 문제를 더 잘 해결할 수 있음을 보여줍니다. 이는 때때로 답을 찾기 위해 모든 것을 한꺼번에 볼 필요는 없으며, 단지 정확히 어디를 봐야 하는지를 아는 것이 중요하다는 점을 상기시켜 줍니다. 저자들은 이 방법이 패치를 고르는 "게임"을 배우기 위해 추가적인 훈련 시간이 필요하다는 점을 인정하지만, 그 대가로 더 정확하고 효율적이며 이해하기 쉬운 시스템을 얻게 됩니다.

기술 요약: 하나의 패치면 충분하다 (One Patch Is Enough, SPaTS)

1. 문제 정의

장면 텍스트 검출(Scene text spotting)은 텍스트 인식과 더불어 각 전사(transcription) 결과물을 그에 상응하는 이미지 영역에 정밀하게 공간적으로 국지화(localization)하는 작업을 동시에 수행해야 합니다. 멀티모달 거대 언어 모델(MLLM)은 강력한 의미론적 추론 능력을 제공하지만, 정확한 국지화에 필요한 미세한 공간 제어 능력은 부족한 경우가 많습니다. 기존의 시각적 토큰 접지(Visual Token Grounding, VTG) 방식들은 언어 생성의 근거를 시각적 증거에 접지함으로써 이 간극을 메우려 시도합니다. 그러나 현재의 패러다임은 일반적으로 단일 텍스트 인스턴스를 표현하기 위해 여러 개의 이미지 패치를 집합시키는 **멀티 패치 표현(multi-patch representations)**에 의존합니다.

저자들은 장면 텍스트가 작고 밀집되어 있으며 복잡한 배경에 포함되어 있는 경우가 많기 때문에, 여러 패치를 집합시키는 것이 상당한 **중복 노이즈, 국지화 모호성, 그리고 결합된 오류(coupled errors)**를 유발한다고 주장합니다. 인접한 패치들은 무관한 배경이나 인접한 단어를 포함할 수 있으며, 이는 인식과 기하학적 정밀도를 모두 저하시키는 "오국지화(mislocalization)"와 "모호성"으로 이어집니다. 더욱이, 특정 텍text 인스턴스에 대해 가장 정보가 많은 단일 패치를 식별하는 것은 명시적인 순위 레이블이 없는 잠재적 속성이므로, 표준 지도 학습을 통해 효과적으로 최적화하기 어렵습니다.

2. 방법론

본 논문은 각 텍스트 인스턴스를 **단일 앵커 시각 토큰(single anchor visual token)**을 통해 라우팅하고 전체 이미지 정밀화를 통해 기하학적 구조를 복구하는 비전 중심 프레임워크인 **단일 패치 텍스트 검출(Single-Patch Text Spotting, SPaTS)**을 제안합니다. 방법론은 세 가지 핵심 구성 요소로 이루어져 있습니다.

A. 단일 패치 선택적 최적화 (Single-Patch Selective Optimization, SPaSO)

"최적의" 패치에 대한 오라클 레이블(oracle labels)이 부족한 문제를 해결하기 위해, 저자들은 패치 선택을 강화 학습(RL)을 통해 최적화되는 이산 결정 문제로 재정의했습니다.

프레임워크: GRPO(Group Relative Policy Optimization) 프레임을 기반으로 구축된 SPaSO는 시각적 패치 인덱스의 선택을 정책 행동(policy action)으로 취급합니다.
이중 보상 메커니즘:
1. 패치 생성 보상 ( $r_{gen}$ ): 최종 스포팅 품질(편집 거리(edit distance)를 통한 텍스트 전사 정확도와 IoU를 통한 기하학적 정밀도 결합)을 평가합니다. 이는 정책이 고충실도 전사와 정밀한 경계를 생성하는 패치를 선택하도록 강제합니다.
2. 패치 지배력 보상 ( $r_{dom}$ ): 정답 후보 패치들이 상위- $k$ 예측 내에 유지되도록 장려하는 조밀한(dense) 보상입니다. 이는 희소한 생성 보상이 낮을 때도 최적화 신호를 제공합니다.
결합 최적화: 이산 선택을 위한 RL 목적 함수는 연속적인 기하학적 감독(경계 상자, 베지에 곡선, 점)과 함께 공동으로 학습되며, 이를 통해 모델은 어떤 패치를 선택할지 배우는 동시에 디코더는 그 기하학적 구조를 어떻게 회귀(regress)할지 학습합니다.

B. 방향성 임베딩 정렬 (Directional Embedding Alignment, DEA)

선택 과정을 안정화하고 모델이 의미론적으로 관련 있는 패치가 아닌, 높은 에너지(높은 노름/norm)를 가진 패드로 편향되는 것을 방기하기 위해 저자들은 DEA를 도입했습니다.

메커니즘: DEA는 시각적 프로토타입의 특징 크기(magnitude)와 방향(direction)을 분리합니다. 프로토타입 $p_i$ 는 학습 가능한 스케일 $\gamma_i$ 와 원래 패치 특징의 정규화된 방향 $\hat{v}_i$ 의 곱으로 매개변수화됩니다.
학습 전략: $\gamma_i$ 를 웜업(warm up)한 후 동결하여, 모델이 중요한 선택 단계에서 특징의 크기가 아닌 방향성 의미론적 정렬(코사인 유사도)에 집중하도록 강제합니다. 이는 패치 경쟁 중 발생하는 불안정한 노름 편향을 억제합니다.

C. 패치 강화 디코딩 (Patch-Enhanced Decoding, PED)

단일 패치만으로는 정밀한 경계 회귀를 위한 충분한 정보를 담지 못할 수 있다는 점을 인식하여, 저자들은 정보 병목 현상을 완화하기 위해 PED를 제안합니다.

메커니г즘: PED는 선택된 시각 패치 프로토타입( $p_{at}$ )을 언어 은닉 상태( $h_t$ )와 융합하여 오브젝트 쿼리(object query)를 형성합니다.
프로세스: 이 융합된 쿼리는 전체 이미지 특징 맵으로부터 정보를 읽어오기 위해 크로스 어텐션 디코더에서 사용됩니다. 이를 통해 모델은 멀티 패치 집합의 노이즈를 다시 도입하지 않으면서도, 전체 이미지로부터 풍부한 시각-의미론적 단서를 활용하여 정밀한 기하학적 경계(박스, 곡선, 점)를 복구할 수 있습니다.

3. 주요 기여

SPaTS 프레임워크: 노이즈가 많은 멀티 패치 라우팅을 인스턴스당 단일 앵커 토큰과 그에 따른 전체 이미지 기하학적 정밀화로 대체하는 새로운 단일 앵커 시각 토큰 패러다임을 제시합니다. 이 공식화는 더 압축된 라우팅 신호를 생성하며 예측된 기하학 구조와 대상 영역 사이의 결합을 긴밀하게 만듭니다.
SPaSO: 오라클 최적 패치 레이블 없이도 최종 스포팅 결과로부터 도출된 패치 수준의 보상을 사용하여 이산적 시각 토큰 선택을 최적화하는 강화 학습 프레임워크입니다.
아키텍처 혁신 (DEA & PED):
- DEA: 패치의 크기와 방향을 분리하여 견고한 표현과 언어 상태와의 방향성 정렬을 보장합니다.
- PED: 라우팅된 로컬 증거와 언어 의미론을 결합하여 정밀한 경계를 복구함으로써, 단일 패치 디코딩의 정보 병목을 피하면서도 멀티 패치의 노이즈를 방지합니다.

4. 실험 결과

저자들은 Total-Text, SCUT-CTW1500, ICDAR 2015의 세 가지 벤치마크에서 SPaTS를 평가했습니다.

최첨단 성능 (SOTA): SPaTS(2B 및 4B 파라미터 변체)는 최첨단 폐쇄형 MLLM(예: GPT-5.4, Claude-Sonnet-4.6, Gemini-3.1-Flash)과 특화된 OCR 모델(예: HunyuanOCR, PaddleOCR-VL) 모두를 일관되게 능가합니다.
효율성: 거대한 오픈 소스 MoE 모델이나 폐쇄형 시스템보다 훨씬 적은 파라미터를 사용함에도 불구하고, SPaTS는 우수한 결과를 달성하여 시각-언어 정렬에서의 높은 파라미터 효율성을 입증했습니다.
절제 연구 (Ablation Studies):
- 단일 패치 vs. 멀티 패치: 단일 패치 선택이 멀티 패치 및 좌표-텍스트(coordinate-text) 공식화보다 성능이 현저히 높았으며, 이는 여러 패치가 선택의 모호성을 유발함을 확인시켜 줍니다.
- RL vs. SFT: SPaSO(RL) 단계는 표준 지도 미세 조정(SFT)에 비해 특히 엔드 투 엔드 스포팅 지표에서 상당한 향상을 제공하여, 보상을 통한 선택 로직 최적화의 효용성을 입증했습니다.
- 구성 요소 영향: DEA를 제거하면 노름(norm)에 의해 지배되는 특징 드리프트가 발생하며, PED를 제거하면 정확도가 급격히 떨어져 언어 사전 지식과 명시적 시각 신호를 융합하는 것의 필요성을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 SPaTS가 복잡한 시나리오에서 고충실도 텍스트 검출을 위한 새로운 시각적 접지 패러다임을 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

그래뉴러티(Granularity)의 재고: "하나의 패치면 충분하다"는 것을 보여줌으로써, 견고한 접지를 위해 여러 패치가 필수적이라는 기존의 지배적인 가설에 도전하고, 전체 이미지 정밀화와 결합될 때의 효과를 입증했습니다.
간극 해소: 값비싼 오라클 패치 주석에 의존하지 않고도, 대규모 멀티모달 모델의 의미론적 추론 능력과 OCR에 필요한 미세한 기하학적 엄밀함 사이의 간극을 성공적으로 메웠습니다.
강건성: CTW1500 및 ICDAR 2015와 같은 어려운 데이터셋에 대한 정성적 결과를 통해, 곡선형, 밀집형, 가려진 텍스트를 기존 방식보다 더 효과적으로 처리할 수 있음을 보여주었습니다.

저자들은 RL 단계가 학습 오버헤드를 발생시킨다는 점과, DEA에서 크기 브랜치를 동결하는 것이 극단적인 조명 변화 하에서 유연성을 감소시킬 수 있다는 점을 언급하며 한계를 인정했습니다. 그러나 SPaTS를 더 정밀하고 효율적인 장면 텍의 검출을 향한 중요한 진전으로 위치시켰습니다.