기술 요약: CoCoEvolve

문제 정의

본 논문은 차트 이미지($V$), 테이블 데이터($T$), 시각화 코드($C$)라는 세 가지 양상(modality) 간의 교차 표현 이해(cross-representation understanding)에서 발생하는 근본적인 과제를 다룹니다. 현재의 AI 시스템은 다음 세 가지 주요 병목 현상으로 인해 이 작업에 어려움을 겪고 있습니다:

1. 내재적 일대다 모호성 (Inherent One-to-Many Ambiguity): 단일 차트 이미지는 여러 개의 유효한 테이블 표현과 여러 개의 유효한 렌더링 프로그램에 대응할 수 있습니다. 기존 벤치마크는 종종 제약 없는 일대일 정답(ground truth)을 가정하는데, 이는 정의가 불분명하며 이러한 매핑의 자연스러운 중복성과 모호성을 포착하지 못합니다.
2. 지도 학습의 모호성 및 비용 (Supervision Ambiguity and Cost): 잠재적인 대응 관계의 방대한 공간을 정확하게 레이블링하는 것은 비용이 매우 많이 들며, 이는 원칙적이고 고품질인 주석(annotation)의 부족으로 이어집니다.
3. 원칙적인 최적화 신호의 부재 (Lack of Principled Optimization Signals): 기존 방법론은 고정된 특정 작업 목적 함수(예: 차트-to-테이블 또는 차트-to-코드)에 의존합니다. 이러한 국소적 목적 함수는 전역적인 의미론적 정확성을 강제하지 못하며, 역방향(예: 테이블-to-차트)이나 보지 못한 표현 조합(예: 테이블-to-코드)으로 일반화되지 않습니다.

방법론: CoCoEvolve

저자들은 표현 간의 상호 합의를 활용하여 추가적인 주석 없이 모델을 최적화하도록 설계된 일관성 기반 공진화(consistency-driven co-evolution) 프레임워크인 CoCoEvolve를 소개합니다.

1. 원칙적인 제약 조건 정의

일대다 모호성을 해결하기 위해, 본 프레임워크는 보조적인 기술적 제약($s \in S$)을 매핑 함수에 추가함으로써 일대다 매핑을 정밀한 일대일 대응 관계로 구체화합니다. 이를 통해 차트 이미지 $v$, 테이블 $t$, 코드 스니펫 $c$가 특정 제약 조건 하에서 동일한 기저 의미(underlying semantics)의 다중 표현으로 취급되도록 합니다.

2. 공진화 프레임워크 (Co-Evolution Framework)

프레임워크는 $V \to T$ 및 $V \to C$를 처리하는 모델 $M_\theta$와 $T \to C$를 처리하는 모델 $M_\psi$를 사용하며, 이들은 표현 사이클($V \to T \to C \to V$)을 통해 공진화합니다.

• CoCoEvolve@Train (학습 단계): 모델들은 주석이 없는 차트 이미지를 사용하여 공동으로 학습됩니다. 정답 레이블에 의존하는 대신, 학습 신호는 **교차 표현 일관성(cross-representation consistency)**으로부터 도출됩니다.
  • 계층적 보상 (Hierarchical Rewards): 시스템은 다음을 기반으로 공유 보상을 계산합니다:
    • 코드 일관성 ($F_c$): 두 모델이 생성한 코드 간의 실행 성공 여부 및 임베딩 유사도를 통해 의미론적 합의를 측정합니다.
    • 시각적 일관성 ($F_v$): 네 가지 지표(CLIP 의미 유사도, SSIM 구조적 유사도, OCR 텍스트 정확도, DINOv2 지각 유사도)를 사용하여 렌더링된 차트 간의 시각적 합의를 측정합니다.
    • 포맷 보상 ($F_f$): 잘 형성된 구조화된 출력을 보장합니다.
  • 결합된 최적화 (Coupled Optimization): 모델들은 샘플링과 보상을 통해 결합됩니다. $M_\psi$는 $M_\theta$의 출력에 조건화되며, 각 모델의 어드밴티지(advantage)는 다른 모델의 출력에 의존하는 보상 함수로부터 유도됩니다. 이는 원래의 차트에 대한 개별적인 접지(grounding) 보상을 포함함으로써, 모델들이 의미론적으로는 틀리지만 서로에게 일관된 출력을 생성하도록 공모하는 퇴보적 솔루션(degenerate solutions)을 방지합니다.
• CoCoEvolve@Test (테스트 단계): 추론 시, 프레임워크는 모델을 공동 최적화하기 위해 동일한 일관성 목적 함수를 적용합니다. 입력이 주어지면 두 모델로부터 여러 롤아웃(rollout)을 생성하고, 일관성 보상을 기반으로 최적의 출력을 선택하여 모델 가중치를 업데이트하지 않고도 추론 시점에 예측을 정교화합니다.
• 지도 학습 확장 (Supervised Extension): 고품질의 주석이 있는 경우 프레임워크는 교사 모듈($M$)을 원활하게 통합할 수 있습니다. 이를 통해 시스템이 교사 가이드형 공동 학습에서 완전한 자기 지도형 공진화로 전환되는 선형 어닐링(linear annealing) 전략을 사용할 수 있습니다.

3. 평가 스위트 (CoCoEvolve@Eval)

저자들은 복잡한 평가를 단일 점수로 축소하는 것의 신뢰성 문제를 피하기 위해 통합 평가 스위트를 제안합니다. 평가는 해석 가능한 다차원 지표로 분해됩니다:

• Rule-as-Judge: 차트의 구조적, 의미적, 지각적, 텍xtual 정확도; 코드의 실행 가능성 및 코드 품질; 그리고 테이블의 스키마/값 정확도에 대한 결정론적 지표를 사용합니다.
• LLM-as-Judge & MLLM-as-Judge: 단일 광범위 점수가 아닌, 데이터 정확성, 차트 유형, 구조적 충실도, 시각적 스타일과 같은 차원에 대한 세밀한 점수(0-5 척도)를 부여합니다.

주요 기여

1. 원칙적인 제약 조건 정의: 본 논문은 내재적인 일대다 매핑을 정밀한 일대일 대응 관계로 구체화하는 공식적인 정의를 도입하여, 기존 벤치마크가 간과했던 격차를 해소합니다.
2. CoCoEvolve 프레임워크: 교차 표현 일관성을 원칙적이고 주석이 필요 없는 자기 지도 신호로 변환하는 새로운 공진화 프레임워크를 제시합니다. 이는 작업 방향과 표현 조합에 관계없이 학습 및 테스트 단계 모두에서 최적화를 가능하게 합니다.
3. 통합 평가 스위트: 사이클 내의 6가지 모든 교차 표현 작업을 다루는 체계적인 평가 스위트를 제공하며, 현재의 LLM/MLLM 기반 판정 방식의 한계를 극복하기 위해 다차원 평가를 활용합니다.
4. 실증적 검증: 다양한 MLLM 및 LLM(예: Qwen3-VL, InternVL3.5, DeepSeek-Coder)을 사용하여 여러 벤치마크에서 상당한 성능 향상을 입증했습니다.

결과

네 가지 벤치마크(ChartCoder, ChartNet, ChartMimic, Chart2Code)에 대해 다양한 MLLM 및 LLM을 사용하여 실험을 수행했습니다.

• 성능 향상: CoCoEvolve는 학습 단계와 테스트 단계 모두에서 성능을 일관되게 향상시킵니다.
  • 겹치지 않는 테스트 세트에서 최대 **37.91%**의 이득을 얻었습니다.
  • 도메인 외(out-of-domain) 설정에서는 향상이 최대 **46.88%**에 달했습니다.
  • 코드 실행 성공률이 크게 개선되어, 일부 구성에서는 **100.00%**의 샌드박스 실행 성공률을 달성했습니다.
• 일반화 능력: 본 방법론은 도메인(물리학, 금융, 생물학 등) 및 복잡성이 변화하는 도메인 외 작업과 다양한 강화 학습 알고리즘(GRPO, DAPO, GSPO)에 대해 강력한 일반화 능력을 보여줍니다.
• 절제 연구 (Ablation Studies): 학습 및 테스트 단계 모두에서 교사 모듈을 포함하는 것이 가장 균형 잡힌 성능을 냈으며, 테스트 단계 최적화만으로도 6가지 모든 작업에서 일관된 개선을 보였습니다.

의의 및 주장

본 논문은 CoCoEvolve가 구조적 추론 작업을 위한 주석 집약적 파이프라인의 확장 가능한 대안을 제공한다고 주장합니다. 교차 모달 일관성을 신뢰할 수 있는 지도 신호로 취급함으로써, 이 프레임워크는 모델들이 "공생적으로 공진화"하도록 하여, 한 모델의 개선이 다른 모델에 더 강력한 감독을 제공하게 합니다. 저자들은 이 접근 방식이 감독의 모호성과 방향 적응형 최적화 신호의 부재를 효과적으로 해결하며, 작업, 방향 및 도메인을 가로질러 일반화되는 향상된 교차 표현 이해 능력을 이끌어낸다고 주장합니다. 이 연구는 전역적인 의미론적 정확성을 일관성을 통해 강제하는 것이 고정된 정답 레이블 없이도 멀티모달 추론을 위한 실행 가능한 경로임을 시사합니다.