💻 computer science

DocPO: Advancing Document Policy Optimization via Tailored Step-Aware Rewards

본 논문은 참조 기반 보상을 정교화하기 위해 새로운 단계 인식 어닐링(Step-Aware Annealing) 메커니즘을 채택하여 기존 편집 거리 지표의 약한 변별 신호를 극복하고 고정밀 문서 파싱을 위한 강화 학습 성능을 크게 향상시키는 문서 정책 최적화 프레임워크인 DocPO를 소개한다.

원저자: Yunhao Wang, Binghong Wu, Zhenyu Huang, Jiacheng Shi, Shuo Huang, Tinghao Yu, Feng Zhang

게시일 2026-08-04

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Yunhao Wang, Binghong Wu, Zhenyu Huang, Jiacheng Shi, Shuo Huang, Tinghao Yu, Feng Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 지저듬한 손글씨 레시피 카드를 읽는 법을 가르치고 있다고 상상해 보세요. 로봇은 단어뿐만 아니라 재료 목록이 어디서 끝나고 요리 단계가 어디서 시작되는지, 그리고 측정값 표나 복잡한 수학 공식을 어떻게 처리해야 하는지도 파악해야 합니다. 이것이 바로 컴퓨터가 종이(또는 화면)의 2D 이미지를 깨끗하고 정돈된 디지털 텍text로 변환하려고 노력하는 인공지능의 한 분야인 **문서 파싱(Document Parsing)**의 세계입니다. 오랫동안 이 로봇들을 가르치는 가장 좋은 방법은 **지도 미세 조정(Supervised Fine-Tuning, SFT)**이었는데, 이는 마치 선생님이 로봇에게 수천 개의 완벽한 예시를 보여주며 "이것을 똑같이 따라 해"라고 말하는 것과 같습니다. 하지만 정답을 이해하지 못한 채 암기만 하는 학생처럼, 로봇은 약간 다른 것을 보았을 때 때때로 혼란에 빠지곤 합니다.

이를 해결하기 위해 과학자들은 **강화 학습(Reinforcement Learning, RL)**을 사용하기 시작했습니다. 이것은 로봇이 퍼즐을 풀려고 노력하는 비디오 게임과 같습니다. 로봇이 문제를 맞힐 때마다 "점수"나 "보상"을 받습니다. 로봇은 가능한 높은 점수를 얻기 위해 노력함으로써 더 잘 플레이하는 법을 배웁니다. 그러나 까다로운 문제가 하나 있습니다. 로봇이 이미 꽤 잘하고 있을 때, "거의 완벽한" 결과와 "완벽한" 결과에 대해 받는 점수가 거의 동일하다는 점입니다. 이는 마치 시험에서 98점을 받은 것과 99점을 받은 것의 차이가 매우 작게 느껴져서, 학생이 100점에 도달하기 위해 어떤 작은 변화를 주어야 하는지 정확히 알 수 없는 것과 같습니다. 이 논문은 바로 이 특정한 "고득점 정체기(high-score plateau)" 문제를 다룹니다.

문제점: 로봇이 "거의 완벽한" 상태에 갇히다

새로운 방법론인 DocPO를 만나보세요. 이 방법은 문서 읽기 로봇이 고득점 정체기를 돌파할 수 있도록 설계되었습니다. 연구진은 로봇이 이미 훌륭한 성과를 내고 있을 때, 기존의 피드백 방식(보상)이 너무 모호해진다는 사실을 발견했습니다.

당신이 개에게 공 가져오기 훈련을 시킨다고 상상해 보세요. 만약 개가 공을 90% 정도만 가져왔을 때, 당신은 "잘했어!"라고 말할 수 있습니다. 만약 개가 95%를 가져왔을 때도 당신은 "잘했어!"라고 말합니다. 개는 두 경우 모두 똑같은 말을 듣기 때문에, 공을 끝까지 가져오는 것이 훨씬 더 낫다는 것을 알지 못합니다. 문서 파싱의 세계에서도 로봇이 텍스트나 표 구조의 90%를 제대로 맞히고 있을 때 이런 현상이 발생합니다. 90% 정답과 95% 정답에 대한 컴퓨터의 "점수"가 너무 비슷해서, 로봇은 마지막 몇 가지 세부 사항을 완벽하게 만드는 법을 배우지 못하고 멈춰버립니다.

해결책: "단계 인식형" 보상 시스템

Tencent Hunyuan 팀은 **단계 인식형 어닐링(Step-Aware Annealing, SAA)**이라는 영리한 해결책을 제안했습니다. 이것은 마치 플레이어가 실력이 좋아짐에 따라 규칙을 바꾸는 스마트한 코치와 같습니다.

처음 로봇이 기초를 배우고 있을 때는 코치가 부드럽고 넓은 피드백을 줍니다. "잘했어!" 정도면 충분합니다. 하지만 로봇이 정말 잘하기 시작하면(즉, "고정밀 구간"에 진입하면), 코치는 더 날카롭고 비판적인 귀로 바뀝니다. 갑자기 90점과 95점의 차이는 단순히 작은 간격이 아닙니다. 코치는 그 차이를 증폭시켜서 95점의 점수가 90점보다 훨씬 더 좋게 느껴지도록 만듭니다. 이러한 "날카로움"은 로봇이 이전에 무시했던 아주 작고 미묘한 세부 사항에 집중하도록 강제합니다.

SAA의 마법은 단순히 점수를 높이는 것이 아니라, 시간이 지남에 따라 보상의 *곡률(curvature)*을 변화시킨다는 점에 있습니다. 처음에는 부드럽게 시작하여 서서히 "뾰족하게" 변하며, 로봇이 이미 정상 근처에 있더라도 항상 어떻게 개선해야 할지에 대한 명확한 신호를 가질 수 있도록 보장합니다.

다양한 작업에 맞춤화된 보상

연구진은 표를 판단하는 방식이 텍스트 단락을 판단하는 방식과 같아서는 안 된다는 점도 깨달았습니다.

텍스트의 경우: 간단한 "편집 거리(edit distance)" 점수를 사용합니다. 글자 하나를 놓치면 아주 적은 점수를 잃습니다.
표의 경우: 표는 행과 열이라는 가지를 가진 나무와 같습니다. 만약 구조(예: 셀을 잘못된 행에 배치함)를 망친다면, 이는 단순한 오타보다 훨씬 큰 문제입니다. 로봇은 구조적 실수를 더 엄격하게 처벌하는 특별한 "트리 편집 거리(Tree Edit Distance)" 점수를 받습니다.
수학 공식의 경우: 이것이 가장 까다롭습니다. 공식은 형태는 달라도 의미는 같을 수 있습니다(예: $a/b$ 라고 쓰는 대신 $a \div b$ 라고 쓰는 경우). 팀은 먼저 수학이 유효한지 확인하는 "구문 게이트(syntax gate)"를 거친 다음, 기호가 약간 다르더라도 의미가 맞는지 확인하는 "하이브리드" 보상을 만들었습니다.

연구 결과

연구진은 새로운 DocPO 프레임워크를 두 가지 큰 테스트 문서 세트인 OmniDocBench(1,355 페이지의 공개 데이터셋)와 DocElemHard(9,400개의 이미지가 포함된 더 어려운 커스텀 데이터셋)로 테스트했습니다.

데이터가 시사하는 바는 다음과 같습니다:

빠른 학습: "날카로워진" 보상 시스템을 사용했을 때, 로봇은 기존의 표준 보상을 사용할 때보다 표 읽기 정확도에서 높은 수준에 약 1.8배 더 빠르게 도달했습니다.
더 나은 최종 점수: 로봇은 단순히 빨리 배웠을 뿐만 아니라, 결과도 더 좋았습니다. 까다로운 DocElemHard 테스트에서, 이 새로운 방법은 전체 점수 93.76을 달성하며, (종종 훨씬 더 복잡하고 비싼 하드웨어 설정을 사용하는) 기존의 전문 모델들을 능가했습니다.
추가 하드웨어 불필요: 가장 멋진 부분 중 하나는 새로운 거대한 로봇 뇌를 만들 필요가 없었다는 점입니다. 그들은 Qwen2.5-VL-3B라는 표준 기성 모델을 사용하고 단지 피드백을 주는 방식만 바꿨습니다. 이는 때때로 더 큰 "플레이어"를 만드는 것보다 "코치"의 피드백을 개선하는 것이 더 강력할 수 있음을 시사합니다.

한계와 미래

저자들은 이것이 모든 것에 적용되는 마법 지팡이는 아니라는 점을 주의 깊게 언급합니다. 이 방식으로 로봇을 훈련하는 것은 로봇이 배우기 위해 게임을 여러 번 반복해야 하므로 기존 방식보다 더 비용이 많이 들고 시간이 오래 걸립니다. 또한, "보상"은 여로 인간이 작성한 규칙에 기반하므로, 만약 규칙이 미묘한 뉘앙스를 놓친다면 로봇은 여전히 혼란을 겪을 수 있습니다. 마지막으로, 이들은 텍스트, 표, 수학 공식에 대해서만 테스트했으며 차트나 다이어그램에 대해서는 아직 시도하지 않았습니다.

하지만 핵심적인 교훈은 명확합니다. 로봇이 개선됨에 따라 피드백을 더 날카롭고 스마트하게 만듦으로써, 우리는 로봇 자체를 재발명하지 않고도 문서를 읽는 까다로운 세부 사항을 마스터하도록 도울 수 있습니다. 이는 때때로 더 나아지는 비결은 더 열심히 하는 것이 아니라, 정확히 무엇에 집중해야 하는지 아는 것임을 상기시켜 줍니다.

기술 요약: DocPO: 맞춤형 단계별 인지 보상을 통한 문서 정책 최적화 고도화

1. 문제 정의

이질적인 2D 레이아웃(텍스트, 표, 수식)을 1D 시퀀스로 디코딩하는 작업인 문서 파싱(Document Parsing)은 강화 학습(RL)을 적용할 때 상당한 어려움에 직면합니다. 현재 주류인 지도 미세 조정(SFT)은 노출 편향(exposure bias) 문제를 겪습니다. RL은 시퀀스 수준의 최적화를 위한 경로를 제시하지만, 표준 대규모 언어 모델(LLM)에 비해 문서 파싱에 대한 적용은 제한적이었습니다.

핵심 문제는 고정밀 영역에서 참조 기반 보상의 변별력이 약하다는 점입니다. 기존 방식은 주로 편집 거리(예: 문자열 편집 거리) 메트릭에 의존합니다. 모델이 높은 정확도에 도달함에 따라, 정답에 근접한 출력값들은 실제 정답과 거의 동일한 점수를 받게 됩니다. 이로 인해 다음과 같은 현상이 발생합니다:

평탄한 보상 지형(Flat reward landscapes): 고득점 후보들 사이의 미세한 품질 차이가 증폭되지 않아, 난도가 높은 사례에 대한 학습 신호가 제한됩니다.
불일치(Misalignment): 일반적인 문자열 수준의 편집 거리는 표의 구조적 정확성(구조적 손상에도 불구하고 높은 어휘 중복에 보상을 주는 문제)이나 수식의 의미론적 동등성(유효한 동의 LaTeX 변형에 대해 페널티를 부여하는 문제)을 포착하지 못합니다.
복잡한 보상에 대한 의존성: 렌더링 후 비교하는 학습된 보상 모델과 같은 대안적 접근 방식은 추가적인 데이터, 연산량 및 보조 학습을 필요로 하여 배포의 단순성을 저해합니다.

2. 방법론

저자들은 단순하고 요소별로 특화된 참조 기반 보상을 유지하면서, **단계별 어닐링(Step-Aware Annealing, SAA)**이라는 새로운 메커니즘을 통해 최적화 능력을 강화하는 문서 정책 최적화 프레임워크인 DocPO를 제안합니다.

2.1 기본 보상 인스턴스화

DocPO는 $[0, 1]$ 척도로 매핑된, 특정 문서 요소에 맞춤화된 별도의 정규화된 참조 기반 보상을 활용합니다:

텍스트: 정규화된 편집 거리(Normalized Edit Distance, NED).
표: APTED 알고리즘을 사용한 가중 트리 편집 거리 유사도(Weighted Tree Edit Distance Similarity, TEDS). 이는 구조적 작업(예: 행/열 스팬)과 내용 불일치를 구분하여, 구조적 오류가 오타보다 더 큰 페널티를 받도록 보장합니다.
수식: 하이브리드 Rubric+edit 보상. 이는 다음을 결동합니다:
- 결정론적 구문 게이트( $v_{syn}$ ): 유효하지 않은 LaTeX에 대해 0의 보상을 할당(구문 유효성).
- 이진 루브릭( $r_{sem}$ ): 의미론적 동등성을 처리(예: \over와 \frac 같은 유효한 대안 표기법 처리).
- 조밀한 NED 구성 요소( $r_{struct}$ ): 구조적 감독을 위한 것.

2.2 단계별 어닐링 (Step-Aware Annealing, SAA)

SAA는 고정밀 영역에서의 보상 평탄화 문제를 해결하기 위해 설계된 플러그 앤 플레이 방식의 보상 샤프닝(sharpening) 메커니즘입니다. 이는 정규화된 이후에는 특정 보상 정의와 독립적으로 작동합니다.

비선형 보상 형성(Non-Linear Reward Shaping): SAA는 기본 보상 $M$ 에 거듭제곱 법칙 변환을 적용합니다:
$f_\gamma(M) = M^\gamma$
여기서 $\gamma$ 는 곡률 계수입니다. $\gamma > 1$ 일 때, 고득점 샘플 간의 상대적 격차가 증폭됩니다. 이는 선택 과정의 "온도"를 낮추는 효과를 주어, 원래의 순위를 유지하면서도 상위 순위 후보들에 대해 더 날카로운 최적화 신호를 제공합니다.
적응형 스케줄링(Adaptive Scheduling): 곡률 계수 $\gamma$ $γ$ 는 고정되지 않고 훈련 과정 중에 진화합니다:
$\gamma = \gamma_{init} + \Delta\gamma \cdot \left[1 - \exp\left(-\frac{s}{\tau_{adaptive}}\right)\right]$
- 초기 훈련: $\gamma$ 는 1에 가까운 선형 상태로 시작하여 안정성과 원래의 기본 보상과의 정렬을 보장합니다.
- 후기 훈련: $\gamma$ 가 증가하여(최대 $\gamma_{init} + \Delta\gamma$ 까지), 고품질 출력물 간의 미세한 차이를 구별할 수 있도록 보상을 점진적으로 날카롭게 만듭니다.
동적 분산 제어기(Dynamic Dispersion Controller, DDC): 작업 난이도에 맞춰 샤프닝 속도를 조절하기 위해, 최근 보상의 이동 윈도우에서 계산된 작업별 분산 점수( $d_{DDC}$ )에 의해 $\tau_{adaptive}$ 가 조절됩니다. 높은 분산(이질적인 결과)은 더 빠른 샤프닝을 유발하며, 낮은 분산은 더 꾸준한 속도를 유지합니다.

3. 주요 기여

단계별 어닝(Step-Aware Annealing, SAA): 훈련 단계에 따라 보상 곡률을 동적으로 증가시키는 새로운 보상 샤프닝 메커니즘입니다. 이는 추가적인 인간의 감독이나 보조 보상 모델 학습 없이도 고정밀 영역에서의 최적화를 개선합니다.
DocPO 프레임워크: 요소별 참조 기반 보상(텍스트용 NED, 표용 TEDS, 수식용 Rubric+edit)을 SAA와 통합한 통합 문서 RL 프레임워크입니다.
세밀한 벤치마크: 텍스트 블록, 표, 수식을 다루는 도전적인 데이터셋인 DocElemHard를 구축하였으며, OmniDocBench에서도 평가를 수행했습니다.

4. 실험 결과

실험은 시각 인코더, 사전 학습 또는 후처리 모듈의 수정 없이 Qwen2.5-VL-3B 백본을 사용하여 수행되었습니다.

성능 향상:
- OmniDocBench: DocPO는 95.38의 종합 점수를 달성하여, PaddleOCR-VL(94.87) 및 DeepSeekOCR(90.63)과 같은 특화된 VLM을 능가했습니다.
- DocElemHard: DocPO는 가장 강력한 베이스라인인 PaddleOCR-VL(91.47)을 제치고 최고의 종합 성능(93.76)을 달s성했습니다.
- 요소별 성능:
  - 텍스트: NED 에러를 0.0125로 감소시킴 (SFT 베이스라인 0.0358 대비).
  - 수식: CDM 점수를 94.70으로 개선 (SFT 92.61 대비).
  - 표: 93.10 TEDS 달성 (SFT 89.30 대비).
절제 연구(Ablation Studies):
- SAA vs. 고정 곡률: 동적 SAA(93.10)는 고정된 $\gamma$ 를 사용하는 정적 거듭제곱 변환(91.9~92.3 범위)보다 우수한 성능을 보여, 적응형 스케줄의 필요성을 입증했습니다.
- DDC의 기여: 동적 분산 제어기를 제거하면 성능이 93.10에서 92.73으로 하락하여, 작업별 분산 적응의 가치를 확인했습니다.
- 훈련 효율성: SAA는 수렴을 가속화하여 비-어닐링 베이스라인보다 1.8배 빠르게 91.0 TEDS 임계값에 도달했으며, 동시에 더 높은 최종 성능 상한(+1.5 포인트)을 달성했습니다.
특화 모델과의 비교: DocPO는 건축적 커스터마이징(예: 전용 고해 resolution 인코더, 커스텀 비전 토큰 압축, 추가 멀티모달 사전 학습)을 사용하는 모델들을 표준 3B 백본과 보상 수준의 최적화만으로 능가했습니다.

5. 의의 및 주장

본 논문은 문서 파싱에 있어 모델 아키텍처를 재설계하거나 확장하는 것보다 보상 신호를 최적화하는 것이 더 효과적인 레버라고 주장합니다.

단순성 및 배포 가능성: 복잡한 시각적 프런트엔드 수정이나 보조 보상 모델을 요구하는 최근의 추세와 달리, DocPO는 추가적인 전처리나 후처리 없이 표준 VLM 백본을 사용하여 최첨단(SOTA) 결과를 달성합니다.
일반성: SAA 메커니즘은 특정 보상 정의에 구애받지 않으므로, 다양한 문서 요소(텍스트, 표, 수식)에 걸쳐 통일된 최적화 전략을 제공합니다.
고정밀 최적화: 본 연구는 고정밀 문서 파싱의 주요 병목 현상이 모델의 용량이 아니라, 최적에 근접한 영역에서의 보상 신호의 변별력임을 입증합니다. SAA는 점진적으로 학습 신호를 날카롭게 함으로써 이를 효과적으로 해결합니다.

한계점: 저자들은 여러 번의 롤아웃(rollout)과 루브릭 점수 산출로 인해 RL 훈련이 SFT보다 계산 비용이 많이 든다고 언급했습니다. 또한, 프록시 보상은 미세한 의미론적 뉘앙스를 놓칠 수 있으며, 현재 범위는 텍스트, 수식, 표에 국한되어 차트 및 기하학적 도표는 제외되었습니다.