🤖 machine learning

Training and Benchmarking Code Generation for Physics-Inspired Animations

이 논문은 물리 기반 애니메이션을 위한 실행 가능한 코드를 생성하는 데 있어 대규모 언어 모델을 훈련하고 평가하기 위한 포괄적인 데이터셋이자 벤치마크인 SimuScene을 소개하며, 최상위 모델들조차 이 과제에 어려움을 겪고 있으나 시각적 보상을 활용한 새로운 강화 학습 파이프라인을 통해 크게 개선될 수 있음을 입증한다.

원저자: Yanan Wang, Renxi Wang, Yongxin Wang, Xuezhi Liang, Fajri Koto, Timothy Baldwin, Xiaodan Liang, Haonan Li

게시일 2026-08-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yanan Wang, Renxi Wang, Yongxin Wang, Xuezhi Liang, Fajri Koto, Timothy Baldwin, Xiaodan Liang, Haonan Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 이야기책을 읽고 그 이야기를 영화로 만들 수 있는 컴퓨터 코드를 즉석에서 작성할 수 있는 아주 똑똑한 로봇 친구가 있다고 상상해 보세요. 당신이 "공이 언덕 아래로 굴러 내려가다가 벽에 부딪힌다"라고 말하면, 당신은 공이 언덕을 굴러 내려가 벽에 부딪히는 모습을 보기를 기대할 것입니다. 이것이 바로 **거대 언어 모델(LLM)**의 꿈입니다. 인간의 언어를 이해하고 그것을 행동으로 바꿀 수 있는 컴퓨터 말이죠. 하지만 까다로운 부분이 하나 있습니다. 로봇이 코드를 작성했다고 해서 그 코드가 만든 영화가 반드시 이야기와 똑같이 보인다는 보장은 없습니다. 코드는 실행될지 모르지만, 공이 유령처럼 떠다니거나, 언덕 위로 굴러 올라가거나, 사각형으로 변해버릴 수도 있습니다. 이 논문은 우리가 다음과 같은 질문을 던지는 과학의 특정 영역을 탐구합니다. "AI 로봇이 단순히 대본을 쓰는 것을 넘어, 영화의 물리 법칙을 직접 연출하여 실제처럼 느껴지게 할 수 있을까?" 이는 요리사에게 케이크 레시피를 쓰는 법뿐만 아니라, 실제로 케이크가 아닌 벽돌이 아닌 진짜 케이크 같은 맛을 내는 케이크를 굽는 법까지 가르치는 것과 같습니다.

모하메드 빈 자이드 인공지능 대학교와 순리 대학교의 연구팀이 이끄는 연구진은 이 AI 로봇들에게 궁극의 시험을 치르게 하기로 했습니다. 그들은 SimuScene이라는 새로운 게임을 만들었습니다. 이것은 중력, 빛, 전기, 유체의 흐름과 같은 52가지 서로 다른 물리 테마를 가진 거대하고 자동화된 놀이터라고 생각하면 됩니다. 그들은 "미끄러운 테이블 위의 회전하는 디스크"나 "렌즈를 통과하며 굴절되는 빛"과 같이 독특한 시나리오 수천 개를 생성한 다음, AI에게 이를 애니메이션화하는 파이썬 코드를 작성하도록 요청하는 시스템을 구축했습니다. 하지만 여기에는 함정이 있습니다. AI는 단순히 실행 가능한 코드를 작성했다고 해서 통과되는 것이 아닙니다. 코드는 설명된 물리 법칙과 실제로 똑같이 보이는 영상을 만들어내야 합니다. 이를 확인하기 위해, 그들은 생성된 영상을 지켜보며 "공이 튀었는가?" 또는 "빛이 제대로 굴절되었는가?"와 같은 질문에 답하는 특별한 "심판"(시각-언어 모델)을 사용했습니다. 만약 영상이 질문에 통과하지 못하면, AI도 테스트에서 탈락합니다.

결과는 냉혹한 현실을 보여주었습니다. 오늘날 이용 가능한 가장 똑똑하고 발전된 AI 모델들조차 매우 힘겹게 싸워야 했습니다. 연구진이 10개의 최상위 AI에게 이 애니메이션들을 생성하도록 요청했을 때, 가장 뛰어난 모델조차 평균적으로 약 **21.5%**의 시나리오만을 성공시켰습니다. 이는 AI가 100번의 시도 중 약 21번 정도만 물리 설명과 일치하는 영상을 성공적으로 만들어냈음을 의미합니다. 대부분의 경우 코드는 실행되지만, 애니메이션은 이상했습니다. 물체가 벽을 통과하거나, 잘못된 방향으로 움직이거나, 중력을 완전히 무시하기도 했습니다. AI에게 코드를 쓰는 법을 가르치는 것과, 세상이 움직이는 보이지 않는 규칙을 이해하고 그 규칙을 시각화하는 법을 가르치는 것은 전혀 다른, 훨씬 더 어려운 퍼즐이라는 사실이 드러났습니다.

하지만 이 논문은 단순히 "어렵다"라고 말하는 데서 그치지 않습니다. 연구팀은 AI를 더 낫게 만들기 위한 영리한 기술을 시도했습니다. 그들은 **강화 학습(Reinforcement Learning)**이라는 방법을 사용했는데, 이는 강아지를 간식으로 훈련시키는 것과 비슷합니다. 단순히 텍스트를 바탕으로 "잘했어" 또는 "못했어"라고 말하는 대신, AI가 영상을 생성하게 하고, 그 영상을 지켜본 뒤, 영상이 실제로 제대로 보일 때만 "간식"(보상)을 주었습니다. 그들은 시각 기반의 판사를 사용하여 이러한 보상을 주었습니다. 이 훈련을 거친 후, AI 모델들은 눈에 띄게 향상되었습니다. **0%**의 성공률로 시작했던 작은 모델은 훈련 후 **11.1%**의 통과율에 도달했고, 더 큰 모델은 **18.3%**에서 **34.4%**로 뛰어올랐습니다. 이는 비록 AI가 아직 완벽한 물리 엔진은 아닐지라도, 자신이 만든 영상을 직접 보고 자신의 실수를 봄으로써 더 나아질 수 있다는 것을 시사합니다.

요약하자면, 이 논문은 우리의 AI 친구들이 코드를 쓰는 데는 뛰어나지고 있지만, 물리 법칙의 훌륭한 감독이 되는 법은 여전히 배우는 중임을 보여줍니다. 그들은 대본을 쓸 수는 있지만, 영화를 실제처럼 보이게 만드는 것은 여전히 진행 중인 과제입니다. 연구팀은 이들을 훈련시키기 위해 7,600개 이상의 물리 시나리오가 담긴 방대한 데이터셋을 구축했으며, 그들의 실험은 결과물(영상)을 관찰하고 그로부터 배우는 것이 이러한 모델을 가르치는 강력한 방법임을 증명했습니다. 이는 적절한 훈련이 뒷받침된다면, 머지않아 우리의 기발한 물리적 묘사를 정확하고 움직이는 그림으로 바꿔놓을 수 있는 AI를 만날 수 있다는 희망적인 신호입니다.

기술 요약: SimuScene – 물리 기반 애니메이션을 위한 학습 및 벤치마킹 코드 생성

문제 정의

대규모 언어 모델(LLM)은 수학적 추론, 복잡한 코딩, 과학적 문제 해결 능력에서 강력한 역량을 입증해 왔으나, 물리적 시나리오와 그 질적 역학(qualitative dynamics)을 시각적으로 묘사하는 실행 가능한 코드를 생성하는 능력은 아직 미개척 영역으로 남아 있습니다. 기존의 벤치마크들은 주로 기호적 추론, 정적 코딩 작업, 또는 지각적 이해를 개별적으로 평가합니다. 이들은 모델이 물리적 설명과 시각적으로 일치하는 애니메이션을 구현하는 코드를 생성하도록 요구하지 않습니다.

핵심 과제는 물리적 시나리오 이해와 애니메이션 지향적 코드 생성의 교차점에 있습니다. 이러한 애니메이션을 제작하기 위해서는 단순히 수치적으로 정밀한 시뮬레이션을 만드는 것이 아니라, 질적인 물리적 이해(예: 운동 패턴, 시간적 진화, 객체 간 상호작용)를 실행 가능한 시각적 형태로 표현할 수 있는 코딩 능력이 필요합니다. 본 논문은 목표가 수치적 정밀도가 아니라, 질적인 물리적 설명과 시각적으로 일치하는 애니메이션을 생성하는 코드를 만드는 데 있다고 주장합니다.

방법론

1. SimuScene 데이터셋 구축

저자들은 물리 기반 애니메이션 생성을 평가하기 위해 설계된 새로운 태스크, 데이터셋 및 벤치마크인 SimuScene을 소개합니다.

범위: 이 데이터셋은 역학(Mechanics), 전자기학(Electromagnetism), 광학(Optics), 유체 역학(Fluid Mechanics), 열역학(Thermodynamics)의 5가지 고전 물리 영역에 걸친 52개 개념을 다룹니다.
파이프라인: 데이터 품질을 보장하기 위해 다단계 자동화 파이프라인이 개발되었습니다:
1. 시나리오 생성: 52개 개념으로부터 시작하여, GPT-4o가 기본적인 물리 시나리오와 난이도 조절을 위한 추가 조건(예: "공기 저항을 고려하여")을 생성합니다.
2. 타당성 필터링: 생성된 시나리오가 물리적으로 타당한지 자동으로 확인합니다.
3. 검증 질문 생성: 유효한 시나리오에 대해, GPT-4o가 예상되는 질적 역학을 설명하는 시각적 검증 질문을 생성합니다.
4. 질문 검증: 두 번째 검토 단계(DeepSeek-R1-0528 사용)를 통해 질문 세트가 설명된 전체 움직임을 판단하기에 충분한지 평가합니다.
5. 인간 검증: 334개의 예시 테스트 세트를 수동으로 검증하여 명확한 설명, 타당한 시나리오, 그리고 포괄적인 검증 질문을 확보했습니다.
통계: 최종 데이터셋은 7,659개의 검증된 시나리오(학습용 7,325개, 테스트용 334개)를 포함합니다. 학습 데이터에는 시각적으로 검증된 12,556개의 정답 응답과 강화 학습(RL)에 사용된 4,325개의 시나리오가 포함됩니다.

2. 평가 파이프라인

평가 과정은 다음 세 단계를 거칩니다:

코드 생성: LLM이 시나리오 설명을 바탕으로 Python 코드를 생성합니다.
비디오 렌더링: 생성된 코드를 실행하여 질적 역학을 묘사하는 비디오를 렌더링합니다.
VLM 기반 검증: 시각-언어 모델(VLM)이 렌더링된 비디오를 검증 질문과 대조하여 평가합니다. 모든 검증 질문에 대한 답변이 "True"인 경우에만 정답으로 간주됩니다.

신뢰성: VLM 판독기(Qwen2.5-VL-72B-Instruct)는 인간 주석가와 비교하여 87.8%의 일치율을 달 기록하며 자동화된 평가의 신뢰성을 확인했습니다.

3. 학습 접근 방식: Code-Video-Judge RL

성능 향상을 위해 저자들은 지도 미세 조정(SFT)과 시각적 보상을 결합한 Code-Video-Judge 강화 학습(RL) 파이프라인을 제안합니다.

보상 신호: 코드 생성 비디오에 대해 여러 검증 질문을 답변한 VLM들의 점수를 집계하여 Code-Video-Judge 보상을 계산합니다.
이진 보상: 기본 보상은 모든 검증 질문이 참일 때만 통과로 간-주하는 이진 보상( $r_{binary}$ )을 사용합니다.
RL 알고리즘: 이러한 시각적 보상을 바탕으로 정책을 최적화하기 위해 그룹 상대 정책 최적화(GRPO)를 사용합니다.
보상 해킹 완화: 전략으로는 다중 질문 집계, 앙상블 VLM 투표, 그리고 학습용과 평가용 VLM의 분리가 포함됩니다. 인간 평가는 체계적인 보상 해킹의 증거가 없음을 확인했습니다.

주요 기여

SimuScene 벤치마크: 실행 가능한 코드로 물리 기반 애니메이션을 생성하는 LLM을 평가하기 위한 최초의 체계적인 연구 및 데이터셋으로, 엄격하게 인간이 검증한 334개의 시나리오 테스트 세트와 품질이 제어된 학습 데이터를 특징으로 합니다.
포괄적인 벤치마킹: 10개의 프론티어 LLM(GPT-5, DeepSeek-R1, Qwen3, Gemini 포함)을 평가한 결과, 가장 강력한 모델조차 21.5%의 Avg@8 정확도를 달성하는 데 그치는 등 상당한 한계를 드러냈습니다.
시각적 보상 학습: 텍스트 전용 LLM을 시각적 보상을 사용하여 학습시키는 파이프라인을 도입했습니다. 이 방식은 7B 모델이 11.1%의 Pass rate(기존 0%)를, 32B 모델이 72.2%의 Pass@8을 달성하게 함으로써 상당한 성능 향상을 가져왔습니다.

결과

베이스라인 성능

낮은 엔드 투 엔드 정확도: 가장 강력한 모델들조차 실행 가능하면서도 시각적으로 설명과 일치하는 애니메이션을 생성하는 데 어려움을 겪습니다. DeepSeek-R1-0528은 21.5%의 Avg@8 정확도만을 기록했습니다.
높은 실행력, 낮은 정렬도: 모델들은 일반적으로 높은 실행률(E.R.)과 렌더링률(R.R.)을 보이지만, 낮은 재생률(P.R.)과 정확도(Acc.)를 보여, 시나리오 설명을 타당한 질적 역학으로 변환하는 데 어려움이 있음을 나타냅니다.
도메인별 편차: 도메인에 따라 성능 차이가 나타납니다. 역학(27.7% Avg@8)과 열역학(26.0%)은 광학(8.4%)보다 높은 성능을 보이는데, 이는 광학 분야의 데이터 부족 때문인 것으로 보입니다.

학습을 통한 개선

SFT의 영향: 지도 미세 조정(SFT)은 베이스 모델에 비해 모든 지표를 실질적으로 개선했습니다.
RL의 이점: RL은 특히 렌더링된 비디오를 재생 가능한 상태로 전환하고 최종 정확도를 높이는 데 있어 성능을 더욱 끌어올렸습니다.
- 7B 모델은 RL 이후 34.4%의 Pass@8 정확도로 향상되었습니다.
- 32B 모델은 72.2%의 Pass@8을 달성하여 학습되지 않은 프론티어 모델인 DeepSeek-R1을 능가했습니다.
보상 어블레이션(Ablation): 시각적 피드백(VLM-as-judge)은 텍스트 전용 LLM-as-judge 보상보다 우수함이 입증되었습니다. 이는 정적인 코드로부터 추론하는 대신 실제 움직임과 상호작용을 관찰함으로써 더 충실한 감독을 제공했기 때문입니다.

의의 및 주장

본 논문은 SimuScene이 물리적 추론과 코드 생성의 교차점에서 LLM을 평가하는 데 있어 중요한 공백을 메운다고 주장합니다. 현재의 모델들은 문법적으로 올바른 코드를 생성할 수 있음에도 불구하고, 질적인 물리적 역학을 충실히 포착하는 애니메이션을 생성하는 일관성이 부족함을 강조합니다.

본 연구는 정제된 물리 데이터와 시각 기반 보상을 통한 학습이 텍스트-코드-비디오 파이프라인이 시각적으로 일관되게 작동하도록 모델의 능력을 효과적으로 향상시킨다는 것을 보여줍니다. 저자들은 이것이 텍스트 전용 모델을 위해 시각 기반 보상을 사용한 최초의 연구 중 하나이며, 보상 해킹의 증거 없이 VLM 기반 판독의 신뢰성을 입증했다고 강조합니다.

이 연구는 현재 모델들이 상당한 과제에 직면해 있지만, 표적 학습을 통해 텍ual 물리 설명과 실행 가능한 시각적 시뮬레이션 사이의 간극을 좁힐 수 있으며, 이를 통해 교육용 시각화 및 제어 가능한 애니메이션 프로토타이핑 분야의 다운스트림 애플리케이션을 지원할 수 있음을 시사합니다.