PhyPrompt: RL-based Prompt Refinement for Physically Plausible Text-to-Video Generation

이 논문은 물리 법칙 위반이 모델의 한계가 아닌 프롬프트의 부족에서 기인한다는 점을 규명하고, 강화 학습 기반의 'PhyPrompt'를 통해 자동화된 프롬프트 정제 과정을 도입하여 7B 파라미터 모델로도 대규모 일반 모델보다 뛰어난 물리적으로 타당한 텍스트-비디오 생성 성능을 달성했음을 제시합니다.

핵심

물리 법칙을 잊지 않는 AI 영상: 'PhyPrompt' 이야기

이 논문은 **"AI 가 만든 영상이 아무리 예뻐도, 물리 법칙을 무시하면 안 된다"**는 문제에서 시작합니다. 예를 들어, AI 가 "와인을 잔에 따른다"라고 요청받으면, 와인은 흘러나오는데 잔의 수위는 그대로인 기이한 영상을 만들기도 합니다. 이는 AI 가 시각적인 아름다움은 잘 만들지만, 사물이 어떻게 움직이고 중력을 따르는지 같은 **'물리 상식'**을 잊어버렸기 때문입니다.

이 문제를 해결하기 위해 연구진이 개발한 **'PhyPrompt(파이프롬프트)'**라는 새로운 기술을 쉽게 설명해 드리겠습니다.

---

1. 문제: AI 는 '화려함'만 알고 '현실'은 모른다

지금까지의 AI 영상 생성기는 마치 화려한 연극 배우와 같습니다. 대본 (프롬프트) 을 주면 표정, 의상, 배경은 아주 잘 연기해냅니다. 하지만 대본에 "와인이 차오른다"는 물리 법칙이 명시적으로 적혀 있지 않으면, AI 는 "아, 와인을 따르는 건데 잔이 차오를 필요는 없나?"라고 생각하며 엉뚱한 장면을 만들어냅니다.

사람이 직접 "잔이 차오르도록 와인을 천천히 따르세요"라고 구체적으로 지시하면 AI 는 잘 만들어냅니다. 하지만 매번 사람이 이렇게 세세하게 지시하는 것은 너무 힘들고 시간이 걸립니다.

2. 해결책: PhyPrompt는 '현실 감각'을 가르치는 '명령어 교정사'

PhyPrompt 는 AI 영상 생성기 앞에 서 있는 지혜로운 '명령어 교정사' 역할을 합니다. 사용자가 "와인을 따르세요"라고 짧게 말하면, PhyPrompt 가 이를 **"잔이 서서히 차오르도록 와인이 부드럽게 흘러나오게 하세요"**라고 물리 법칙을 반영한 구체적인 명령어로 바꿔줍니다.

이 교정사는 두 가지 단계로 훈련됩니다.

1 단계: 물리 법칙을 배우는 '독서' (SFT)

먼저, PhyPrompt 는 물리 법칙에 대한 수많은 예시와 그 이유 (추론 과정) 를 공부합니다. 마치 물리 선생님의 강의를 듣는 것처럼, "왜 공이 떨어질까?", "왜 물은 위로 안 올라갈까?"에 대한 논리를 체득합니다.

2 단계: 실전 훈련과 점수제 (RL with Dynamic Curriculum)

이제 실제 영상을 만들어보며 점수를 받습니다. 여기서 PhyPrompt 의 가장 clever 한 부분이 나옵니다. 바로 **'동적 커리큘럼 (Dynamic Reward Curriculum)'**이라는 훈련 방식입니다.

• 초반 (의미 우선): 훈련 초기에는 "사용자가 원하는 내용을 잘 그렸나?" (의미 일치도) 에 집중합니다. 마치 건축가가 먼저 건물의 뼈대와 모양을 잡는 단계입니다.
• 후반 (물리 우선): 뼈대가 잡히면, 이제는 "중력을 잘 따랐나?", "물이 자연스럽게 찼나?" (물리 상식) 에 집중합니다. 마치 건축가가 건물의 내구성과 안전을 점검하는 단계입니다.

이 방식은 "의미"와 "물리"가 서로 충돌할 때 (예: 의미를 지키려다 물리가 망치거나 그 반대) 한쪽을 희생하지 않고, 두 마리 토끼를 모두 잡을 수 있게 해줍니다.

3. 놀라운 결과: 작은 모델이 거인을 이기다

PhyPrompt 는 놀라운 성과를 냈습니다.

• 작은 두뇌, 큰 능력: PhyPrompt 는 거대하고 비싼 AI(예: GPT-4o, DeepSeek-V3) 보다 훨씬 작은 모델 (70 억 파라미터) 로 만들었습니다. 하지만 물리 법칙을 지키는 능력에서는 거대 모델들을 능가했습니다. 이는 **"무조건 큰 것보다, 특정 일에 특화된 훈련이 더 중요하다"**는 것을 보여줍니다.
• 어떤 AI 와도 잘 지내: PhyPrompt 는 특정 AI 영상 생성기에만 맞춰진 것이 아니라, Lavie, VideoCrafter, CogVideoX 등 다양한 AI 모델과도 잘 작동합니다. 마치 모든 브랜드의 자동차에 들어갈 수 있는 범용적인 엔진처럼, 어떤 엔진을 쓰든 물리 법칙을 지켜주는 역할을 합니다.

4. 비유로 정리하면?

• 기존 AI: 화려한 옷을 입은 연극 배우. 대본을 그대로 연기하지만, 물리 법칙 같은 건 모릅니다.
• PhyPrompt: 배우 옆에 서서 **"저기, 중력을 생각해서 그 동작을 수정해 봐"**라고 조언해주는 지혜로운 연출가.
• 동적 커리큘럼: 배우에게 먼저 **"역할을 잘 연기하라 (의미)"**고 가르치고, 그다음에 **"현실적으로 연기하라 (물리)"**고 가르치는 단계별 교육 과정.

결론

PhyPrompt 는 AI 가 만든 영상이 단순히 '예쁜 그림'을 넘어, 우리가 사는 현실 세계의 법칙을 따르는 진짜 영상이 되도록 도와줍니다. 사람이 일일이 지시할 필요 없이, AI 가 스스로 물리 상식을 깨우쳐 더 자연스럽고 믿을 수 있는 영상을 만들어내는 시대가 온 것입니다. 이는 로봇 공학, 과학 시뮬레이션, 교육 등 현실적인 적용이 필요한 분야에서 큰 변화를 가져올 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

최근 텍스트 - 비디오 (Text-to-Video, T2V) 생성 모델은 시각적 품질이 매우 뛰어나지만, 물리 법칙을 위반하는 현상이 빈번하게 발생합니다.

• 현상: 물체가 중력을 무시하거나, 서로 관통하거나, 비현실적인 방식으로 이동하는 등 물리적 상식 (Physical Commonsense) 이 결여된 비디오가 생성됩니다.
• 근본 원인: 모델 자체의 한계라기보다는 프롬프트 (입력 텍스트) 에 물리적 제약이 부족하기 때문입니다. 사용자가 "와인이 병에서 잔으로 부어진다"고 입력하면, 잔의 액체 수위가 올라가는 물리적 사실은 묘사되지 않는 경우가 많습니다.
• 기존 접근법의 한계:
  • 수동 프롬프트 엔지니어링: 물리적 세부 사항을 명시적으로 추가하면 좋은 결과가 나오지만, 전문 지식이 필요하고 확장성이 떨어집니다.
  • 기존 자동화 도구: Promptist, VPO 등은 물리성보다는 미적 품질이나 안전성에 초점을 맞추거나, GPT-4o 와 같은 대형 언어 모델 (LLM) 을 사용하는 경우 물리성은 개선되더라도 의미적 정확도 (Semantic Fidelity) 가 떨어지거나 효율성이 낮습니다.

2. 제안 방법론: PhyPrompt (Methodology)

저자들은 PhyPrompt를 제안하며, 이는 강화 학습 (RL) 을 기반으로 사용자의 프롬프트를 물리적으로 현실적인 비디오 생성에 적합한 형태로 자동 수정하는 2 단계 프레임워크입니다.

A. 2 단계 학습 파이프라인

1. 지도 미세 조정 (Supervised Fine-Tuning, SFT):

   • 데이터: PhyGenBench 를 기반으로 구축된 물리 중심의 Chain-of-Thought (CoT) 데이터셋을 사용합니다.
   • 내용: 원본 프롬프트, 관련 물리 법칙, 그리고 GPT-4o 가 생성한 개선된 프롬프트 간의 추론 과정 (Reasoning Chain) 을 포함합니다.
   • 목적: LLM 이 물리 현상을 추론하고 이를 비디오 생성에 적합한 기술적 설명으로 변환하는 능력을 학습시킵니다.

2. 강화 학습 (Reinforcement Learning via GRPO):

   • 알고리즘: **Group Relative Policy Optimization (GRPO)**을 적용합니다. 이는 별도의 가치 네트워크 (Value Network) 없이 쿼리당 여러 후보 프롬프트를 샘플링하여 최적화하는 효율적인 방법입니다.
   • 구조: LLM 이 생성한 프롬프트는 고정된 T2V 생성기 (예: CogVideoX) 를 통과하여 비디오를 생성하고, VideoPhy2-AutoEval 이 이 비디오를 평가합니다.

B. 핵심 혁신: 동적 보상 커리큘럼 (Dynamic Reward Curriculum)

의미적 충실도 (Semantic Adherence, SA) 와 물리적 상식 (Physical Commonsense, PC) 은 서로 상충되는 목표일 수 있습니다. 이를 해결하기 위해 시간에 따라 가중치가 변하는 동적 보상을 도입했습니다.

• 초기 단계: 의미적 충실도 (SA) 에 높은 가중치를 두어 사용자가 의도한 내용 (사물, 관계, 장면 구조) 을 정확히 유지하도록 학습합니다.
• 후기 단계: 물리적 상식 (PC) 에 대한 가중치를 점차 높여, 힘, 역학, 인과 관계 등 물리적 세부 사항을 정교화합니다.
• 효과: 이 커리큘럼은 의미적 기반 (Scaffolding) 을 먼저 세운 후 물리적 제약을 추가함으로써, 단일 목표 최적화나 정적 가중치 조합보다 우수한 시너지 효과를 달성합니다.

3. 주요 기여 (Key Contributions)

1. 물리 인식 프롬프트의 중요성 입증: 현재 T2V 생성기는 물리 인식 프롬프트를 제공하면 물리적으로 타당한 비디오를 생성할 수 있음을 증명하고, 이를 자동화하는 PhyPrompt 시스템을 제안했습니다.
2. 동적 보상 메커니즘: 의미 정렬에서 물리 상식으로 점진적으로 초점을 이동시키는 RL 기반 프롬프트 최적화 기법을 개발하여, 두 목표를 동시에 극대화하는 학습 커리큘럼을 구현했습니다.
3. 제로샷 전이 (Zero-Shot Transfer) 및 효율성: 7B 파라미터 모델이 GPT-4o 나 DeepSeek-V3(100 배 큰 모델) 보다 물리성 측면에서 우수한 성능을 보였으며, 학습된 생성기 (CogVideoX-2B) 에서 학습된 모델이 다른 아키텍처 (Lavie, VideoCrafter2, CogVideoX-5B) 에도 추가 학습 없이 전이되어 성능을 향상시켰습니다.

4. 실험 결과 (Results)

VideoPhy2 벤치마크를 사용하여 평가했으며, 주요 결과는 다음과 같습니다.

• 성능 향상 (CogVideoX-2B 기준):

  • PhyPrompt-7B는 의미적 충실도 (SA) 47.8%, 물리적 상식 (PC) 66.8% 를 기록하여 **연합 성공률 (Joint Success, SA & PC ≥4) 40.8%**를 달성했습니다.
  • 이는 기존 베이스라인 대비 8.6%p의 향상이며, 물리성만 11%p(55.8% → 66.8%), 의미적 정확도 4.4%p(43.4% → 47.8%) 동시에 개선되었습니다.
  • 비교: GPT-4o(+3.8%), DeepSeek-V3(+2.2%) 보다 우수한 성능을 보였으며, DeepSeek-V3 는 파라미터가 100 배 크지만 성능은 뒤처졌습니다.

• 생성기 간 전이 (Zero-Shot Transfer):

  • PhyPrompt-7B 는 학습에 사용된 CogVideoX-2B 외의 Lavie, VideoCrafter2, CogVideoX-5B에서도 일관된 성능 향상을 보였습니다.
  • 특히 VideoCrafter2 에서 **16.8%**의 연합 점수 향상을 기록하여, 물리 제약이 생성기 아키텍처에 종속되지 않음을 입증했습니다.

• 아블레이션 연구 (Reward Design):

  • SA 만 최적화하거나 PC 만 최적화하는 경우 서로의 성능을 저하시키는 '부정적 전이 (Negative Transfer)'가 발생했습니다.
  • 반면, 제안된 동적 커리큘럼은 단일 목표 최적화의 상한선 (Upper Bound) 을 모두 초과하는 결과를 보여주었습니다. 이는 의미적 기반이 물리적 세부 사항을 조직화하고, 물리적 제어가 의미적 구조를 정제하는 상호 보완적 관계를 형성했기 때문입니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 단순히 모델 크기를 키우는 것 (Scaling) 보다, **도메인 특화 학습 (Domain-specialized training)**과 **직접적인 작업 피드백 (Task-specific feedback)**을 통한 커리큘럼 설계가 물리 기반 비디오 생성에 더 효과적임을 입증했습니다.
• 실용성: 무거운 생성기 자체를 미세 조정할 필요 없이, 경량의 프롬프트 리라이터 (Rewriter) 만으로 다양한 T2V 모델에 적용 가능하여 배포 비용과 계산 오버헤드를 크게 줄였습니다.
• 응용 분야: 로봇 공학, 시뮬레이션, 과학 시각화, 교육 등 물리적 현실성이 필수적인 분야에서 T2V 기술의 실용화를 가능하게 하는 중요한 발판이 됩니다.

요약하자면, PhyPrompt 는 물리 법칙을 위반하는 T2V 생성의 핵심 병목이 프롬프트에 있음을 규명하고, 강화 학습 기반의 동적 커리큘럼을 통해 의미와 물리성을 동시에 극대화하는 효율적인 솔루션을 제시한 연구입니다.