🤖 AI

Who Leads Now? Token-Level Modality Arbitration for Chart-to-Code Generation

본 논문은 기존의 차트-코드 변환 방식에 내재된 간섭 문제를 극복하고 구조화된 모달리티 중재를 통해 우수한 성능을 달고하기 위해, 토큰 수준에서 서로 다른 시각 및 코드 브랜치를 동적으로 분리하고 조정하는 교차 모달 중재 블록(Cross-modal Arbitration Block)을 채택한 새로운 프레임워크인 MoCA를 소개한다.

원저자: Qinghao Fu, Yarong Wang, Shunlei Ning, Yilin Wang, Shunwen Bai, Xinda Wang, Jiaotuan Wang, Yinan Nie, Wei Zhou

게시일 2026-08-18

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Qinghao Fu, Yarong Wang, Shunlei Ning, Yilin Wang, Shunwen Bai, Xinda Wang, Jiaotuan Wang, Yinan Nie, Wei Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

디지털 시대에 데이터는 종종 막대 그래프, 선 그래프, 파이 차트와 같이 숫자를 시각적 이야기로 바꾸는 차트로 제시됩니다. 수십 년 동안 컴퓨터는 "가장 높은 값이 무엇인가?" 또는 "가장 큰 조각의 색상은 무엇인가?"와 같은 간단한 질문에 답하기 위해 이러한 이미지를 읽는 데 탁월한 능력을 보여주었습니다. 그러나 더 어려운 과제가 등장했습니다. 컴퓨터에게 단순히 차트를 읽는 것을 넘어, 코드를 사용하여 처음부터 차트를 다시 구축하도록 요청하는 것입니다. 이 작업은 기계가 정적인 이미지를 보고, 그 뒤에 숨겨진 데이터와 특정 디자인 선택을 이해한 다음, 화면에 동일한 그림을 그릴 수 있는 일련의 지침을 작성하도록 요구합니다. 이는 두 가지 매우 다른 기술을 동시에 테스트하는 작업입니다. 기계는 선의 정확한 색조나 라벨의 정밀한 위치와 같은 미세한 세부 사항을 포착할 수 있는 예리한 관찰자가 되어야 하며, 동시에 이러한 세부 사항을 재현하기 위해 논리적이고 오류 없는 코드를 작성할 수 있는 규율 잡힌 설계자가 되어야 합니다.

오랫동안 연구자들은 컴퓨터에게 이 두 가지를 동시에 수행하도록 가르치기 위해, 시각적 이해와 코딩 능력을 하나의 거대한 뇌로 결합하여 혼합하는 방법을 시도했습니다. 모델이 시각과 코드 작성을 동시에 학습할 수 있다는 가정이었습니다. 하지만 이 접근 방식은 종-종 혼란을 야기했습니다. 차트가 시각적으로 복잡하면 모델은 코드를 쓰는 데 어려움을 겪을 수 있었습니다. 반대로 차트가 복잡한 논리를 요구하면 모델은 세부 사항을 보는 데 실패할 수 있었습니다. 이 두 기술은 동일한 작업을 위해 필요하지만, 동일한 내부 경로를 공유하도록 강제될 때 서로 방해가 되는 것처럼 보였습니다. 저장대학교, 앤트 그룹(Ant Group) 및 기타 기관의 연구진이 발표한 새로운 연구는 해결책이 이러한 능력들을 하나로 섞는 것이 아니라, 분리하여 각각의 역할이 주도권을 잡도록 하는 것이라고 제안합니다.

칭하오 푸(Qinghao Fu)와 웨이 저우(Wei Zhou)가 이끄는 연구진은 MoCA라고 부르는 시스템을 개발했습니다. 단일 모델이 모든 것을 수행하도록 강요하는 대신, 그들은 시각적 이해에 전념하는 하나의 경로와 코딩에 전념하는 또 다른 경로를 가진 두 개의 뚜렷한 경로를 구축했습니다. 건설 현장에서 한 팀은 원자재를 검수하는 데 특화되어 있고, 다른 팀은 실제 건축을 담당하는 모습을 상상해 보십시오. MoCA에서 이 두 팀은 나란히 일하지만, 하나의 혼란스러운 실체로 합쳐지지 않습니다. 대신, 저자들이 '중재자(arbiter)'라고 부르는 작고 가벼운 의사 결정자가 실시간으로 작업을 지켜봅니다. 시스템이 코드를 한 단어씩 생성할 때마다, 이 중재자는 시각 팀으로부터 얼마나 많은 도움을 받을지, 그리고 코딩 팀에 얼마나 의존할지를 결정합니다.

이 의사 결정은 끊임없이 일어나며 매 순간 변화합니다. 시스템이 차트의 특정 막대 색상을 파악하려고 할 때, 중재자는 시각적 경로에 크게 의존합니다. 막대를 어떻게 쌓을지 또는 전체 높이를 어떻게 계산할지 결정해야 할 때는 코딩 경로에 대한 신뢰를 옮깁니다. 연구진은 이러한 역동적인 전환이 무작위가 아니라는 것을 발견했습니다. 차트 생성의 초기 단계에서는 입력을 이해하기 위해 시각적 처리에 더 많이 의존합니다. 작업의 중간 단계로 넘어가면 구조를 구축하기 위해 코딩 생성으로 전환합니다. 마지막으로 작업을 마칠 때는 원래 이미지와 세부 사항이 일치하는지 확인하기 위해 시각적 정교화 단계로 돌아올 수 있습니다. 이러한 유동적인 협업 덕분에 시스템은 시각적으로 지저도하거나 논리적으로 복잡한 차트 모두를 막힘없이 처리할 수 있습니다.

이 시스템에 작동법을 가르치기 위해 연구진은 2단계 훈련 과정을 사용했습니다. 첫째, 모델에게 수천 개의 차트와 그에 상응하는 코드를 보여주었지만, 단순히 최종 코드만을 제공한 것은 아닙니다. 그들은 또한 차트를 어떻게 보고 이를 지침으로 번역하는지에 대한 단계별 분석인 '사고 과정(thought process)'을 함께 제공했습니다. 이는 모델이 본 것과 써야 할 것을 연결하는 법을 배우는 데 도움이 되었습니다. 두 번째 단계에서 시스템은 스스로 연습할 수 있었습니다. 시스템이 코드를 생성하고, 그 코드가 성공적으로 실행되어 결과 이미지가 원본과 일지하면 보상을 받았습니다. 만약 코드가 실패하거나 이미지가 틀리면 교정되었습니다. 코드의 논리와 결과물의 시각적 정확성 모두에 대한 구체적인 보상이 따르는 이 시행착오의 순환은 두 가지 분기를 조정하는 시스템의 능력을 정교하게 다듬었습니다.

이 접근 방식의 결과는 차트-투-코드(chart-to-code) 생성을 평가하기 위해 설계된 세 가지 벤치마크에서 여러 고급 모델들과 비교 테스트되었습니다. 새로운 시스템인 MoCA는 주요 분야에서 경쟁 모델들을 압도했습니다. 한 주요 테스트에서, MoCA는 차트의 88.83%에 대해 작동하는 코드를 생성하는 데 성공했으며, 이는 다른 전문 모델들에 비해 상당한 개선입니다. 또한 생성된 코드가 원래 차트의 텍스트 및 구조와 얼마나 잘 일치하는지를 측정하는 지표에서도 더 높은 점수를 받았습니다. 아마도 가장 중요한 점은, 이러한 성과가 단순히 모델이 더 크거나 훈련 데이터가 많아서 얻어진 것이 아니라는 점을 연구진이 입증했다는 것입니다. 동일한 컴퓨팅 파워를 사용하면서 역동적인 전환 메커니즘이 없는 버전의 시스템을 테스트했을 때 성능이 떨어졌습니다. 이는 성공의 비결이 단순히 더 큰 뇌력을 갖는 것이 아니라, 더 스마트한 조직 방식에 있음을 확인시켜 주었습니다.

또한 이 연구는 시스템의 의사 결정자가 매우 구체적으로 학습되었음을 보여주었습니다. 모델은 "항상 시각적 도움 50%, 코드 도움 50%를 사용한다"와 같은 고정된 규칙을 적용하지 않았습니다. 대신, 보고 있는 특정 차트와 작성 중인 코드의 특정 부분에 따라 전략을 조정했습니다. 어떤 차트에서는 시각적 분기가 전체 과정을 지배할 수도 있습니다. 다른 경우에는 코드 분기가 거의 즉시 주도권을 잡을 수도 있습니다. 이러한 유연성 덕분에 시스템은 단순한 선 그래프부터 복잡한 다층 다이어그램에 이르기까지 각 작업의 독특한 요구 사항에 적응할 수 있었습니다.

보는 기술과 쓰는 기술을 분리하고, 그들의 노력을 조율할 전담 관리자를 부여함으로써 연구진은 이전의 시도들을 좌절시켰던 문제를 해결했습니다. 그들은 이미지를 통해 차트를 재구축하는 것과 같은 복잡한 작업에 있어서, 부분이 각자의 강점을 발휘할 수 있을 때만 전체가 부분의 합보다 커질 수 있다는 것을 입증했습니다. 이 시스템은 한 번에 모든 것을 통달하는 마스터가 되려고 노력하는 대신, 언제 보고 언제 쓸지를 정확히 알고 시각적으로 충실하면서도 논리적으로 견고한 결과를 만들어냅니다. 이 접근 방식은 인공지능이 매우 다른 종류의 지능이 혼합된 다른 작업들을 어떻게 처리할 수 있는지에 대한 새로운 청사진을 제시하며, 단일한 범용 모델이라는 개념을 넘어 더 조화롭고 적응 가능한 미래로 나아가고 있습니다.

기술 요약: MoCA – 차트-코드 생성을 위한 토큰 수준의 모달리티 중재(Token-Level Modality Arbitration)

문제 정의

차트-코드 생성(Chart-to-code generation)은 모델이 차트 이미지의 미세한 시각적 세부 사항을 해석하고, 원래의 이미지를 충실히 재현하는 실행 가능한 플로팅 코드를 생성할 것을 요구한다. 이 작업은 독특한 과제를 제시한다: 시각적 그라운딩(레이블, 색상, 레이아웃 인식)과 코드 생성(로직, 축, 구조 구축)에 대한 요구사항이 모든 입력에 대해 균일하지 않다는 점이다.

시각적으로 복잡한 차트: 조밀한 레이블과 미세한 시각적 변화를 정밀하게 인식해야 하지만, 플로팅 로직 자체는 단순할 수 있다.
코드가 요구되는 차트: 시각적 요소는 단순할 수 있지만, 복잡한 논리적 구조(예: 누적 막대 그래프, 사용자 정의 축)를 필요로 한다.

기존 방식들은 대개 시각 능력과 코딩 능력을 별도로 학습시키거나, 이러한 능력들이 뒤섞인 단일 모델을 미세 조정한다. 이러한 전략은 두 가지 서로 다른 능력 사이의 역동적인 상호작 작용을 명시적으로 모델링하지 못하며, 이로 인해 모델이 시각적 세부 사항을 잘못 읽거나 구문적으로 틀린 코드를 생성하는 실패가 자주 발생한다. 또한, 기존의 모델 병합 기술은 입력에 독립적인 정적 파라미터 계수에 의존하는 경우가 많아, 특정 차트 인스턴스의 다양한 요구사항에 적응하지 못한다.

방법론: MoCA (Mixture of Cross-modal Arbitration)

저자들은 시각 및 코드 능력을 별도의 경로로 분리하면서 생성 과정 동안 이들의 기여도를 동적으로 조정하도록 설계된 프레임워크인 MoCA를 제안한다.

1. 아키텍처: 교차 모달 중재 블록 (Cross-modal Arbitration Block, CAB)

MoCA는 **시각 브랜치(Visual Branch)**와 **코드 브랜치(Code Branch)**가 모델 내에서 별개의 변환으로서 작동하는 이중 분기 아키텍처를 기반으로 구축된다.

초기화: 프레임워크는 Qwen2.5-VL-7B를 멀티모달 백본으로 사용하고, Qwen2.5-Coder-7B를 사용하여 코드 브랜치를 초기화한다. 구체적으로, 시각 브랜치는 시각-언어 모델의 피드 포워드 네트워크(FFN) 파라미터로부터 초기화되며, 코드 브랜치는 해당 코드 모델의 FFN 파로미터로부터 초기화된다.
중재자(The Arbiter): MoCA의 핵심은 각 CAB 내부에 있는 경량 **중재자(Arbiter)**이다. 모든 레이어 $l$ 의 모든 토큰 $t$ 에 대해, 중재자는 중간 은닉 표현 $h_{i,l,t}$ 를 받아 브랜치 가중치 $\alpha_{i,l,t} = (\alpha^{vis}, \alpha^{code})$ 를 예측한다.
동적 조정: CAB의 출력은 두 브랜치의 가중 합이다:
$z_{i,l,t} = \alpha^{vis}_{i,l,t} B^{vis}(h_{i,l,t}) + \alpha^{code}_{i,l,t} B^{code}(h_{i,l,t})$
이를 통해 모델은 고정된 글로벌 계수를 사용하는 대신, 특정 입력 인스턴스, 네트워크 레이어 깊이, 그리고 현재 생성 중인 토큰에 따라 기여도를 할당할 수 있다.

2. 학습 프레임워크

MoCA는 구조화된 추론과 실행 가능한 코드 생성을 정렬하기 위해 2단계 학습 전략을 채택한다.

1단계: Self-Distilled SoT를 이용한 지도 미세 조정 (Supervised Fine-Tuning, SFT)
- 모델은 생각의 조각(Snippet-of-Thought, SoT) 궤적(trajectory)으로 증강된 차트-코드 쌍 데이터로 학습된다.
- 이러한 궤적은 시각적 입력에서 코드로의 매핑을 명시적인 중간 단계로 분해한다.
- 자기 증류(Self-Distillation): 가공되지 않은 교사(teacher) 생성 SoT 데이터를 사용하는 대신, 저자들은 MoCA 자체의 생성 분포와 더 잘 일치하는 궤적을 생성하기 위해 자기 증류를 적용하여 학습과 추론 사이의 격차를 줄인다.
- 모델은 결합된 SoT 및 코드 시퀀스에 대해 표준 자기회귀 교차 엔트로피 손실을 사용하여 최적화된다.
2단계: 강화 학습 (Reinforcement Learning, RL)
- 모델은 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**를 사용하여 추가로 최적화된다.
- 다섯 가지 신호를 집계하는 다차원 보상 함수가 사용된다:
  1. 형식 일관성 ( $R_{fmt}$ ): 출력 구조 준수 여부.
  2. 추론 일관성 ( $R_{con}$ ): SoT와 생성된 코드 간의 정렬도.
  3. 구조적 충실도 ( $R_{str}$ ): AST 분석을 통한 차트 속성 재구성.
  4. 실행 유효성 ( $R_{exec}$ ): 코드가 성공적으로 실행되는지 여부.
  5. 시각적 유사도 ( $R_{vis}$ ): 렌더링된 차트와 참조 이미지 간의 비교.
- 이러한 보상은 프로세스 수준(추론)과 결과 수준(실행/시각)의 감독을 모두 제공한다.

주요 기여

적응형 조정의 공식화: 본 논문은 차트-코드 생성을 교차 모달 능력 조정 문제로 규정하며, 시각적 그라운딩과 코드 생성은 상호 보완적이지만 이질적인 능력으로서 명시적이고 동적인 상호 작용 모델링이 필요하다고 주장한다.
MoCA 아키텍처: **교차 모달 중재 블록(CAB)**을 갖춘 이중 분기 아키텍처를 도입한다. 이는 별도의 시각 및 코드 전문성을 보존하면서, 경량화된 입력 조건부 중재자를 사용하여 토큰 및 레이어 수준에서 기여도를 동적으로 할당한다.
학습 및 분석 프레임워크: 자기 증류된 SoT 감독과 다차원 RL 보상을 결합한 학습 파이프라인을 구축한다. 저자들은 중재자가 임의적이거나 균일한 가중치가 아니라 구조화된 할당 패턴(토큰, 레이어, 인스턴스에 따라 체계적으로 변화함)을 학습한다는 것을 실증적 근거를 통해 제시한다.

실험 결과

MoCA는 세 가지 벤치마크인 ChartMimic, Plot2Code, ChartX에서 평가되었다.

성능: MoCA는 일반 도메인 및 차트 특화 모델 전반에서 최고 수준(SOTA) 또는 경쟁력 있는 결과를 달 achieved했다.
- ChartMimic에서 세 가지 지표 모두에서 최고의 성능을 기록했다 (실행률: 88.83, Low-Level: 75.13, High-Level: 73.48). 이는 강력한 베이스라인들을 상당한 차이로 앞선 결과이다.
- Plot2Code에서 가장 높은 코드 통과율(87.88)을 달성하여, 그다음으로 우수한 베이스라인보다 2.27포인트 앞섰다.
- 시맨틱 지표(Text Match) 및 지각 지표(GPT Score)에서도 경쟁력 있는 성능을 유지했으며, 종종 훨씬 더 큰 모델(예: Qwen2.5-VL-72B)보다 실행 및 재구성 충실도 면에서 우수한 성능을 보였다.
절제 연구 (Ablation Studies):
- 학습 단계: SFT와 RL 모두 필수적인 것으로 나타났다. SFT는 안정적인 매핑을 구축했고, RL은 실행 가능성과 시각적 충실도를 향상시켰다.
- 브랜치 초기화: 두 개의 시각 브랜치를 사용하는 변형(Visual + Visual)은 MoCA보다 성능이 낮았으며, 이는 성능 향상이 단순히 파라미터 수 때문이 아니라 상보적인 전문성 초기화에서 온다는 것을 확인시켜 준다.
- 중재 (Arbitration): 고정된 브랜치 가중치(0.5/0.5)를 사용하는 변형은 MoCA보다 성능이 떨어졌으며, 이는 입력 조건부 중재의 필요성을 입증한다.
- 정적 병합: MoCA는 정적 파라미터 병합 방식(VisCodex 등)보다 크게 앞서 나갔으며, 이는 이질적인 작업에 대해 고정된 계수를 사용하는 것의 한계를 보여준다.

의의 및 주장

본 논문은 MoCA의 성능 향상이 단순히 모델 크기를 키우거나 추가적인 학습 데이터를 사용했기 때문이 아니라고 주장한다. 대신, 개선은 다음의 결합된 기여에서 비롯된다:

상보적인 브랜치 초기화: 시각 및 코드 양측의 사전 학습된 전문성을 활용함.
입력 조건부 중재: 입력의 특정 요구사항과 생성 컨텍스트에 따라 시각 브랜치와 코드 브랜치에 대한 의존도를 동적으로 조정하는 능력.

저자들은 시각적 그라운딩과 코드 합성을 토큰 수준의 중재를 통해 명시적으로 모델링하는 것이 차트-코드 생성을 위한 중요한 진전이며, 이를 통해 모델이 다양한 차트 유형의 다양한 요구사항에 적응할 수 있게 된다고 결론짓는다. 향 향후 연구로는 모델 파라미터를 늘리지 않고도 유사한 통합을 달성할 수 있는 더 매개변수 효율적인 퓨전 패러다임을 탐색할 것을 제안한다.