🤖 machine learning

Symbolic Graphics Programming with Large Language Models

이 논문은 대규모 언어 모델의 심볼릭 그래픽 프로그램(SVG) 생성 능력을 평가하기 위한 SGP-GenBench를 소개하고, 생성 품질과 의미적 정렬을 크게 향상시켜 오픈 소스 모델이 프런티어 시스템의 성능에 필적할 수 있도록 하는 검증 가능한 보상을 갖춘 강화 학습 접근 방식을 제안한다.

원저자: Yamei Chen, Haoquan Zhang, Yangyi Huang, Zeju Qiu, Kaipeng Zhang, Yandong Wen, Weiyang Liu

게시일 2026-08-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yamei Chen, Haoquan Zhang, Yangyi Huang, Zeju Qiu, Kaipeng Zhang, Yandong Wen, Weiyang Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 본 적 없는 친구에게 사진 한 장을 설명한다고 상상해 보세요. 당신은 "빨간 자동차를 파란 자전거 옆에 그려줘"라고 말할 수도 있습니다. 하지만 자연어는 모호합니다. 여지(wiggle room)가 많죠. 당신의 친구는 너무 큰 자동차를 그리거나, 공중에 떠 있는 자전거를 그리거나, 빨간색을 분홍색처럼 보이게 그릴 수도 있습니다. 이것이 컴퓨터가 단어를 이미지로 바꾸려고 할 때 겪는 일상의 고군분투입니다. 오랫동안 과학자들은 컴퓨터가 캔버스 위에 색을 문지르는 디지털 화가처럼, 픽셀을 사용하여 이미지를 "꿈꾸도록" 가르쳐 왔습니다. 하지만 다른 방법이 있습니다: 바로 **기호 그래픽 프로그래밍(Symbolic Graphics Programming)**입니다. 픽셀을 문지르는 대신, 컴퓨터는 마치 레고 세트를 조립하거나 엄격한 건축 설계도를 따르는 것처럼 이미지를 하나씩 구축하기 위한 정밀한 레시피—즉, 수학적 명령 세트—를 작성합니다. 이 방법은 믿을 수 없을 정도로 정밀하지만, 제대로 해내기가 매우 어렵습니다.

여기에 **대규모 언어 모델(LLM)**이 등장합니다. 이들은 코드를 작성하고, 농담을 던지고, 질문에 답할 수 있는 초스마트 AI 두뇌입니다. 이들은 지시를 따르는 데 뛰어나지만, 단순한 묘사로부터 완벽한 이미지를 만들기 위한 구체적인 "설계도"를 작성할 수 있을까요? 그것이 바로 이 논문이 다루는 핵심 질문입니다. 연구진은 이 AI 두뇌들이 복잡한 세계를 그리기 위해 필요한 정확한 코드를 작성하는 숙련된 설계자가 될 수 있는지, 그리고 만약 스스로 잘 해내지 못한다면, 우리가 그들을 더 잘하도록 가르칠 수 있는지 알고 싶었습니다.

논문의 이야기: AI에게 코드로 그림 그리는 법 가르치기

연구진은 먼저 현재의 기술 수준을 테스트하는 것으로 시작했습니다. 그들은 AI 예술가들을 위한 거대한 운전 면허 시험과 같은 SGP-GenBench라는 거대한 테스트를 구축했습니다. 그들은 다양한 AI 모델에 간단한 것("빨간 자동차")부터 복 복잡한 것("코끼리 등에 탄 세 사람")까지 아우르는 프롬프트 목록을 주었습니다. 목표는 AI가 요청한 것과 정확히 일치하는 이미지를 렌더링하는 코드(구체적으로 SVG, 즉 확장 가능한 벡터 그래픽이라 불리는 유형)를 작성할 수 있는지 확인하는 것이었습니다.

결과는 다소 엇갈렸습니다. 빅테크 기업들이 사용하는 값비싼 폐쇄형 소스 모델인 "프런티어(frontier)" 모델들은 꽤 잘 해냈습니다. 그들은 형태와 색상을 대부분 제대로 구현할 수 있었습니다. 하지만 누구나 사용하고 연구할 수 있는 오픈 소스 모델들은 고전했습니다. 그들은 아예 작동하지 않는 코드를 작성하거나, 프롬프트와 전혀 닮지 않은 것을 그려내곤 했습니다. 이는 마치 초보자에게 집을 지으라고 시킨 것과 같았습니다. 지붕은 올릴 수 있을지 몰라도 벽은 삐뚤빼뚤하거나 문이 통째로 빠져 있을 수도 있는 상황이었습니다.

그래서 연구팀은 질문했습니다: 어떻게 하면 오픈 소스 모델을 고칠 수 있을까?

그들은 단순히 모델에게 암기할 예시를 더 많이 제공한 것이 아닙니다. 대신, 그들은 **강화 학습(Reinforcement Learning, RL)**이라는 기법을 사용했습니다. 이것은 컴퓨터를 위한 강아지 훈련과 비슷하다고 생각하면 됩니다.

시도(The Attempt): AI가 그림을 위한 코드를 작성하려고 시도합니다.
확인(The Check): 컴퓨터가 코드를 실제 이미지로 렌더링합니다.
보상(The Reward): 이미지를 이해하도록 훈련된 또 다른 AI인 초스마트 "심판"이 결과물을 원래의 설명과 비교합니다.
- 만약 AI가 코드를 작성하다가 오류가 나거나 렌더링되지 않았다면, 0점을 받습니다.
- 만약 이미지가 프롬프트와 닮았다면, 높은 점수를 받습니다.
- 만약 이미지가 근접했지만 몇 가지 오류가 있다면, 중간 점수를 받습니다.

그러면 AI는 이 점수들을 사용하여 학습합니다. AI는 "아, 태양을 왼쪽 상단에 두니까 점수가 올라가는구나. 바퀴를 빼먹으니까 점수가 내려가는구나"라고 깨닫게 됩니다. 수천 번의 시도를 거치며, AI는 게임의 규칙을 배웁니다.

놀라운 결과들

결과는 인상적이었습니다. 이 "훈련 캠프"를 거친 후, 오픈 소스 모델(Qwen-2.5-7B)은 단순히 조금 나아진 수준이 아니었습니다. 그것은 최고의 폐쇄형 모델들과 경쟁할 수 있는 수준으로 도약했습니다. 엉망이고 망가진 낙서를 그리던 것에서 벗어나, 깨끗하고 상세하며 정확한 벡터 그래픽을 만들어낼 수 있게 되었습니다.

하지만 가장 매혹적인 부분은 최종 점수가 아니라, 학습하는 동안 AI의 행동이 어떻게 변했는가 하는 점이었습니다. 연구진은 AI의 "사고 과정"이 진화하는 것을 관찰했고, AI가 사용하기 시작한 두 가지 멋진 기술을 발견했습니다.

분해하기(Breaking Things Down): 초기에 AI는 복잡한 물체(예: 오토바이)를 하나의 크고 지저한 코드 덩어리로 그리려 했습니다. 학습을 진행하면서, AI는 오토바이를 더 작고 관리 가능한 부분들로 나누기 시작했습니다: "먼저 몸체를 그린다. 그다음 바퀴를 추가한다. 이제 핸들을 달자." 이는 마치 모든 재료를 냄비에 한꺼번에 던져 넣으려던 요리사가 각 재료를 정성껏 준비하기 시작한 것과 같았습니다.
"선택적" 디테일 추가하기(Adding "Optional" Details): AI는 명시적으로 요청되지는 않았지만 장면을 더 실감 나게 만드는 요소들을 추가하기 시작했습니다. 만약 "케이크와 함께 테이블에 앉아 있는 사람들"을 요청했다면, AI는 케이크 위의 스프링클이나 테이블 위의 부스러기를 추가하기 시작할 것입니다. 만약 해변 장면을 요청했다면, 파도나 모래를 추가할 수도 있습니다. 이것은 실수가 아니라, 장면을 더 완전하고 자연스럽게 만드는 창의적인 선택이었으며, AI가 단순히 글자 그대로의 단어가 아니라 장면의 맥락을 이해하기 시작했음을 보여주었습니다.

이것이 왜 중요한가

이 논문은 이러한 방식이 컴퓨터에게 수백만 개의 완벽한 예시 없이도 "보고" "그리는" 법을 가르치는 강력한 방법임을 시사합니다. 이미지가 단어와 일치하는지 확인하는 보상 시스템을 사용함으로써, AI는 자신의 언어 능력과 시각 능력을 일치시키는 법을 배웁니다.

연구진은 이 접근 방식이 매우 효과적이어서, 처음에 고전했던 오픈 소스 모델이 결국 가장 진보된 상용 시스템들과 대등한 성능을 보였다는 것을 발견했습니다. 또한, AI가 단순히 정답을 암기한 것이 아니라, 복잡한 과업을 더 작고 통제 가능한 단계로 나누고 최종 결과를 더 좋게 만들기 위해 도움이 되는 디테일을 추가하는 전략을 배웠다는 것도 발견했습니다.

요약하자면, 이 논문은 AI가 자신의 "그림"이 설명과 일치하는지에 대한 즉각적인 피드백을 받는 적절한 종류의 훈련을 받는다면, 우리는 기본적인 언어 모델을 정밀하고 창의적이며 매우 유능한 그래픽 프로그래머로 바꿀 수 있다는 것을 보여줍니다. 이는 AI가 단순히 이미지가 어떻게 생겼을지 추측하는 것이 아니라, 실제로 정밀한 코드 한 줄 한 줄을 통해 그것을 어떻게 구축해야 하는지 알게 되는 단계로 향하는 발걸음입니다.

기술 요약: 대규모 언어 모델을 이용한 심볼릭 그래픽 프로그래밍

문제 정의

대규모 언어 모델(LLM)은 프로그램 합성 분야에서 강력한 능력을 입증해 왔으나, 정밀하고 실행 가능한 시각적 콘텐츠를 렌더링하는 코드, 즉 **심볼릭 그래픽 프로그램(SGP)**을 생성하는 능력은 아직 충분히 탐구되지 않았습니다. 잠재적 픽셀 표현에 의존하는 표준 텍text-to-image 생성과 달리, SGP는 자연어를 정형화되고 구조화된 코드(예: Scalable Vector Graphics 또는 SVG)로 변환할 것을 요구합니다. 이 작업은 추상적인 언어적 묘사와 결정론적인 시각적 출력 사이의 간극을 메우며, 정밀한 공간 추론, 기하학적 정확성, 그리고 구성적 논리를 요구합니다. 본 논문은 두 가지 주요 질문을 다룹니다:

현재의 LLM이 SGP를 얼마나 효과적으로 생성할 수 있는가?
오픈 소스 모델을 포함한 LLM의 생성 능력을 프런티어 독점 시스템 수준으로 어떻게 향상시킬 수 있는가?

방법론

1. 벤치마크 구축: SGP-GenBench

SGP 생성을 체계적으로 평가하기 위해 저자들은 세 가지 상호 보완적인 구성 요소로 이루어진 대규모 벤치마크인 SGP-GenBench를 도입합니다:

장면 생성 (COCO-val): 여러 객체와 상호작용이 포함된 복잡한 장면을 평가하는 MS-COCO의 1,024개 예시.
객체 생성 (SGP-Object): 단일 객체의 고충실도 렌더링에 집중한 930개 예시.
구성적 생성 (SGP-CompBench): 다음 세 가지 특정 구성 차원을 테스트하는 3,200개의 프롬프트:
- 속성 바인딩(Attribute Binding): 색상, 모양 및 질감의 일관성.
- 공간 관계(Spatial Relations): 2D, 3D 및 암시적 공간 관계.
- 수치 능력(Numeracy): 특정 객체 수(3~10개)의 정확한 생성.

평가 지표에는 의미론적 충실도(CLIP-Score, DINO-Score, VQA-Score, HPS v2)와 구성적 품질(속성, 관계 및 계수 정확도에 대한 특정 프롬프트를 통해 판단됨)이 포함됩니다.

2. 검증 가능한 보상을 이용한 강화 학습 (RLVR)

SGP 생성을 개선하기 위해 저자들은 **그룹 상대 정책 최적화(GRPO)**를 사용하는 강화 학습(RL) 접근 방식을 제안합니다. 이 방법은 정답(ground-truth) SVG 프로그램이나 쌍을 이룬 이미지-코드 데이터셋을 필요로 하지 않습니다. 대신, 외부 시각 기초 모델(vision foundation models)을 활용하여 검증 가능한 보상 신호를 제공합니다.

보상 설계:
생성된 SVG $s$ , 캡션 $c$ , 그리고 선택적 참조 이미지 $x$ 에 대한 보상 함수 $r(s, c, x)$ 는 다음과 같이 분해됩니다:

포맷 유효성 게이트 ( $r_{fmt}$ ): 출력이 특정 <THINK>/<ANSWER> 구조를 따르는지, 그리고 오류 없이 래스터 이미지로 성공적으로 렌더링되는지를 확인하는 이진(binary) 체크입니다. 유효하지 않은 출력은 0의 보상을 받습니다.
지각적 정렬 (Perceptual Alignment):
- 텍스트-이미지 정렬 ( $r_{Text}$ ): 대조적 시각-언어 인코더(예: SigLIP)를 사용하여 캡션과 렌더링된 이미지 사이의 코사인 유사도를 계산합니다.
- 이미지-이미지 정렬 ( $r_{Image}$ ): 참조 이미지가 있는 경우, 자기 지도 시각 인코더(예: DINO)를 사용하여 렌더링된 이미지와 참조 이미지 사이의 유사도를 계산합니다.

총 보상은 유효성 게이트에 의해 제어되는 이 구성 요소들의 가중 합입니다. 이를 통해 모델은 명시적인 프로그램 주석 없이도 원시 이미지와 텍스트 프롬프트로부터 학습할 수 있습니다.

주요 기여

SGP-GenBench: 객체 충실도, 장면 일관성, 구성적 일관성(속성, 공간 관계 및 수치 능력)에 걸쳐 LLM을 평가하는 종합적인 벤치마크를 도입했습니다.
RL 기반 SGP 생성: 교차 모달 정렬 보상(텍스트-이미지 및 이미지-이미지 유사도)을 사용하여 LLM을 SVG 생성에 맞게 미세 조정하는 새로운 사후 학습(post-training) 프레임�워크를 제안합니다. 이 접근 방식은 오픈 소스 모델이 프런티어 독점 시스템과 대등한 성능을 달도록 합니다.
창발적 행동 분석: RL 학습이 특정 창발적 전략을 유도함을 밝히는 심층 분석을 수행했습니다:
- 분해(Decomposition): 모델은 복잡한 객체를 단일한 코드 블록으로 생성하는 대신, 더 단순하고 제어 가능한 기본 단위(예: 오토바이를 바퀴, 프레임, 라이트로 분리)로 나누는 법을 배웁니다.
- 맥락적 디테일링(Contextual Detailing): 모델은 장면의 일관성과 사실감을 높이기 위해 요청되지 않은 의미론적 세부 사항(예: 해변 장면에 파도를 추가하거나 케이크에 스프링클을 뿌리는 것)을 자발적으로 생성합니다.

실험 결과

벤치마크 성능

독점 모델 vs. 오픈 소스 모델: 프런티어 독점 모델(예: Claude 3.7 Sonnet Thinking, Gemini 2.5 Pro)은 SGP-GenBench에서 오픈 소스 모델보다 현저히 우수한 성능을 보입니다. 성능은 일반적인 코딩 능력과 강한 상관관계를 가집니다.
RL의 영향: RL로 미세 조정된 Qwen-2.5-7B 모델은 독점 시스템과의 격차를 크게 좁혔습니다.
- 전체 구성 점수를 8.8(베이스)에서 60.8로 향상시켜 DeepSeek-R1 및 QwQ-32B와 같은 다른 오픈 소스 모델들을 능가했습니다.
- 모든 모델 중 가장 높은 **VQA-Score (0.596)**를 달성했으며, 이는 Claude 3.7 Sonnet Thinking을 약간 상회하는 수치입니다.
- 정성적 비교에서 탁월한 디테일 충실도를 보여주었으며, 베이스라인 모델보다 더 정확한 기하학적 형상과 장면 요소를 생성했습니다.

절제 연구 (Ablation Studies)

임베딩 모델: SigLIP를 텍스트-이미지 인코더로 사용했을 때, 특히 실제 세계 이미지 분할(COCO)에서 CLIP보다 더 강력한 그라운딩(grounding)과 다양성을 보여주었습니다.
사고의 사슬 (CoT): 명시적인 CoT 프롬프팅은 정량적 성능에 필수적이지 않은 것으로 나타났습니다. SVG 코드 자체가 암시적인 추론 흔적 역할을 하기 때문입니다.
Best-of-N vs. RL: Best-of-N 샘플링 분석 결과, 샘플 수를 늘리면 성능이 향려되기는 하지만, RL 학습의 이점은 질적이며 실질적인 컴퓨팅 예산 내의 표준 샘플링으로는 재현할 수 없음을 보여주었습니다(1,000번의 RL 단계가 얻는 이득을 따라잡기 위해서는 수백만 개의 샘플이 필요함).

의의 및 주장

본 논문은 심볼릭 그래픽 프로그래밍이 교차 모달 그라운딩을 연구하기 위한 정밀하고 해석 가능한 렌즈를 제공한다고 주장합니다. LLM에게 잠재적 픽셀 대신 실행 가능한 코드를 생성하도록 강제함으로써, 이 작업은 공간 추론과 구성적 논리의 특정 결함을 드러냅니다.

저자들은 교차 모달 보상을 이용한 강화 학습이 비용이 많이 드는 큐레이션된 이미지-프로그램 데이터셋 없이도 LLM에 시각적 지식을 주입할 수 있는 확장 가능한 메커니즘을 제공한다고 주장합니다. 결과는 오픈 소스 모델이 복잡하고 의미론적으로 정렬된 벡터 그래픽을 생성하는 데 있어 프런티어 폐쇄형 시스템의 능력에 근접하도록 훈련될 수 있음을 입증합니다. 또한, 관찰된 창발적 행동(분해 및 맥락적 디테일링)은 RL이 단순히 보상 신호를 최적화하는 것을 넘어, 시각적 장면에 대한 더 깊고 구조화된 이해를 촉진한다는 것을 시사합니다.