Fine-tuning DeepSeek-OCR-2 for Molecular Structure Recognition

제공된 논문 "Fine-tuning DeepSeek-OCR-2 for Molecular Structure Recognition"에 대한 상세한 기술 요약은 다음과 같습니다.

1. 문제 정의 (Problem)

• 배경: 화학 문헌에서 2D 분자 구조도 (Molecular Diagrams) 를 기계가 읽을 수 있는 형식 (SMILES 문자열 또는 분자 그래프) 으로 변환하는 **광학 화학 구조 인식 (OCSR, Optical Chemical Structure Recognition)**은 화학 지식 자동화의 핵심입니다.
• 도전 과제: 기존의 비전 - 언어 모델 (VLM) 은 일반적인 OCR 작업에서 유망한 성과를 보였으나, 이를 분자 구조 인식에 직접 적용하는 것은 어렵습니다. 특히, **전체 매개변수 (Full-parameter) 를 이용한 지도 학습 (Supervised Fine-Tuning, SFT)**을 수행할 경우 학습 불안정성으로 인해 모델이 제대로 수렴하지 못하거나 성능이 저하되는 문제가 발생했습니다.
• 목표: 문서 OCR 기반 모델인 DeepSeek-OCR-2 를 분자 인식 작업에 적응시켜, 이미지 조건 하에서 SMILES 를 생성하는 모델을 개발하고, 기존 이미지 - 시퀀스 및 이미지 - 그래프 모델들과의 성능을 비교하는 것입니다.

2. 방법론 (Methodology)

2.1. 데이터셋 구성

모델의 강건성 (Robustness) 과 범용성을 확보하기 위해 두 가지 소스의 데이터를 혼합하여 학습했습니다.

• 합성 데이터 (Synthetic): PubChem 의 분자 구조를 기반으로 실시간 렌더링 (On-the-fly rendering) 을 수행.
  • MolScribe 스타일: 다양한 외관 변형 (Augmentation) 을 적용.
  • ChemDraw 스타일: 깨끗한 렌더링, 적은 변형.
• 실제 데이터 (Realistic): USPTO-MOL 에서 추출된 실제 특허 문서의 분자 이미지.
  • 스캔 품질 저하, 불균일한 선 두께, 특허 문서 특유의 그림 conventions 등을 포함하여 실제 문서의 노이즈를 학습.

2.2. 학습 파이프라인: 2 단계 점진적 미세 조정 (Two-stage Progressive SFT)

직접적인 전체 매개변수 미세 조정의 실패를 극복하기 위해 제안된 핵심 전략입니다.

1. 1 단계: LoRA 기반 파라미터 효율적 미세 조정 (Parameter-efficient Fine-tuning)

   • 목표: 텍스트 생성 경로와 비전 - 언어 정렬 인터페이스를 적응.
   • 방식: DeepSeek-OCR-2 의 주요 어텐션, 피드포워드 projections, 그리고 비전 - 언어 투영 계층에 LoRA (Low-Rank Adaptation) 모듈을 적용.
   • 데이터: 192k 개 샘플 (각 소스별 64k).
   • 효과: 학습 불안정성을 줄이고 초기 적응을 용이하게 함.

2. 2 단계: 점진적 전체 매개변수 미세 조정 (Progressive Full-parameter SFT)

   • 목표: 고수준의 교차 모달 정렬 및 시퀀스 생성 최적화.
   • 방식:
     • 동결 (Freezing): 가장 낮은 수준의 비전 토크나이저 (Visual Tokenizer) 와 입력 토큰 임베딩 레이어는 고정.
     • 최적화: 고수준 LM-as-Vision-Encoder, 압축/투영 인터페이스, 자기회귀 디코더를 학습.
     • 분할 학습률 (Split Learning Rates): 비전 브랜치는 낮은 학습률, 언어 생성 브랜치는 높은 학습률을 적용하여 비전 인식의 안정성을 유지하면서 화학 문자열 생성 능력을 강화.
   • 데이터: 800k 개 샘플로 확장.

2.3. 추가 시도 (실패한 방법)

• 강화 학습 스타일 (GSPO, ReFT): 생성된 SMILES 후보군에 화학적 유효성, 그래프 일관성 등을 reward 로 주어 모델을 추가 학습 시도.
• 결과: 그래프 수준의 정확도는 일부 개선되었으나, **정확한 SMILES 시퀀스 일치 (Exact Sequence-level Fidelity)**를 요구하는 평가 기준에서는 오히려 성능이 저하됨. 따라서 최종 모델에는 적용하지 않음.

3. 주요 기여 (Key Contributions)

1. DeepSeek-OCR-2 의 분자 인식 적응: 문서 OCR 모델인 DeepSeek-OCR-2 를 분자 구조 인식 (이미지 -> SMILES) 작업에 성공적으로 적용한 최초의 시도 중 하나.
2. 2 단계 점진적 미세 조정 전략 제안: 전체 파라미터 미세 조정의 실패를 극복하기 위해 LoRA 와 분할 학습률을 활용한 안정적 학습 전략을 제시.
3. 대규모 혼합 데이터셋 구축: 합성 데이터 (PubChem) 와 실제 특허 데이터 (USPTO-MOL) 를 결합하여 다양한 스타일과 노이즈에 강건한 모델 학습.
4. VLM 기반 OCSR 의 한계 규명: 강화 학습 및 데이터 정제 기반의 추가 학습이 시퀀스 수준의 엄밀한 정확도 (Exact Match) 를 높이는 데 한계가 있음을 실증.

4. 실험 결과 (Results)

• 모델명: MolSeek-OCR
• 성능 비교 (Table 2 기준):
  • 이미지 - 시퀀스 (Image-to-Sequence) 모델 대비: DECIMER(최고 성능 베이스라인) 와 유사한 수준의 정확도를 달성.
    • 합성 데이터 (Indigo, ChemDraw) 에서 70% 대, 실제 데이터 (USPTO, CLEF 등) 에서도 경쟁력 있는 성능 보임.
  • 이미지 - 그래프 (Image-to-Graph) 모델 대비: MolScribe 및 GTR-VL과 같은 최신 모델에는 미치지 못함.
    • MolScribe 는 복잡한 구조 해석에 있어 명시적인 노드 - 엣지 (원자 - 결합) 구조 예측이 자동회귀 텍스트 생성보다 우월함을 보여줌.
• 강건성: 다양한 교란 (Perturbation) 데이터셋에서도 일관된 성능을 유지했으나, 순수 합성 데이터보다는 실제 특허 데이터에서 성능 격차가 존재.

5. 의의 및 결론 (Significance & Conclusion)

• 성공적 전환: 문서 OCR 기반 VLM 을 분자 구조 인식 분야로 성공적으로 이전 (Transfer) 할 수 있는 안정적인 경로를 확립함.
• 현실적 한계: VLM 기반의 텍스트 생성 방식은 복잡한 분자 구조의 기하학적 레이아웃을 명시적으로 예측하는 그래프 기반 모델 (MolScribe 등) 에 비해 여전히 열세임을 확인. 이는 OCSR 작업에서 **구조적 정확성 (Structural Fidelity)**이 텍스트 생성의 유연성보다 더 중요할 수 있음을 시사.
• 향후 방향: 강화 학습 기반의 후학습 (Post-training) 이 시퀀스 수준의 엄밀한 정확도를 높이는 데는 한계가 있으므로, 향후 연구는 그래프 구조 예측과 VLM 의 장점을 결합하거나, 더 정교한 구조적 제약 조건을 학습에 통합하는 방향으로 나아가야 함.

이 연구는 화학 정보학 분야에서 대규모 멀티모달 모델의 적용 가능성을 보여주었으나, 분자 구조의 정밀한 디지털화에는 여전히 전용 그래프 기반 아키텍처가 필요함을 강조합니다.