💻 computer science

PhysAgent: Reflective Agentic Physics Control for Physically Plausible Video Generation

PhysAgent는 일회성 예측의 한계를 극복하기 위해 물리 프로그램을 반복적으로 생성, 시뮬레이션, 검증 및 수정하는 성찰적 에이전트 프레임워크를 도입함으로써, 복잡한 역학 및 상호작용을 포함하는 더욱 물리적으로 타당하고 프롬프트에 부합하는 비디오 생성을 가능하게 한다.

원저자: Qirui Li, Jinkun Hao, Yibo Li, Ran Yi, Paul L. Rosin, Yu-Kun Lai

게시일 2026-07-21

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Qirui Li, Jinkun Hao, Yibo Li, Ran Yi, Paul L. Rosin, Yu-Kun Lai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 공이 테이블에서 굴러떨어져 컵을 치고 쓰러뜨리는 영화를 보고 있다고 상상해 보세요. 현실 세계에서 물리학은 공이 떠다니지 않게 하고, 컵이 젤리로 변하지 않게 하며, 타이밍이 적절하게 느껴지도록 보장하는 보이지 않는 규칙 책입니다. 오랫동안 이러한 영상을 만들려는 컴퓨터들은 그림은 잘 그리지만 수학은 엉망인 예술가와 같았습니다. 그들은 공이 구르는 것처럼 보이게 할 수는 있었지만, 만약 특정 각도로 컵을 치거나 적절한 힘으로 튀어 오르게 해달라고 요청하면 종종 실패하곤 했습니다. 공이 테이블을 통과해 미끄러지거나, 컵이 그냥 굴러가야 할 상황에서 산산조각이 나기도 했습니다. 이는 컴퓨터가 영화가 시작되기 전에 물리 법칙이 성립하는지 실제로 "확인"하지 않고, 전체 장면을 한 번의 큰 도약으로 추측하기 때문에 발생하는 문제입니다.

이 논문은 컴퓨터가 더 나은 물리 감독이 되는 법을 가르치는 새로운 방법을 도입함으로써 이 문제를 다룹니다. 단순히 추측하는 대신, 이제 컴퓨터는 실험실의 과학자처럼 행동합니다. 장면의 디지털 모델을 구축하고, 빠른 테스트를 실행하여 어떤 일이 일어나는지 확인한 다음, 결과가 사용자의 요청과 일치하는지 체크하고, 최종 영상을 만들기 전에 실수를 바로잡습니다. 이것은 재료를 솥에 던져 넣고 맛이 좋기를 바라는 요리사와, 수프를 맛보고 소금이 더 필요하다는 것을 깨달아 소금을 한 꼬집 넣은 뒤 다시 맛을 보고 나서야 음식을 내놓는 요리사의 차이와 같습니다. 목표는 영상이 아름다울 뿐만 아니라 실제 세상이 움직이고 충돌하는 엄격하고 보이지 않는 규칙을 준수하도록 만드는 것입니다.

"PhysAgent" 탐정

이 논문의 저자인 상하이 교통대학교와 카디프 대학교 연구팀은 PhysAgent라고 불리는 시스템을 구축했습니다. PhysAgent를 매우 끈기 있고 성찰적인 로봇 감독이라고 생각하세요. 당신이 사진(예: 볼링장)과 명령(예: "공이 오른쪽 핀을 치게 해줘")을 주면, 그것은 즉시 촬영을 시작하지 않습니다. 대신, 시도, 확인, 수정의 루프에 들어갑니다.

그 과정은 다음과 같이 단계별로 진행됩니다:

첫 번째 추측: 로봇은 당신의 사진과 명령을 살펴봅니다. 그것은 디지털 버전의 장면을 구축하고 물리 법칙을 위한 "대본"을 작성합니다. 이 대본은 컴퓨터에게 다음과 같은 내용을 알려줍니다: "공은 속도 0.5m/s로 시작한다", "핀은 나무로 만들어졌다", "힘은 여기에 가해진다".
시뮬레이션 (연습 실행): 예쁜 영상을 만들기 전에, 로봇은 빠르고 거친 시뮬레이션을 실행합니다. 이것은 리허설과 같습니다. 로봇은 디지털 공이 구르고 디지털 핀이 날아가는 것을 지켜봅니다.
현실 점검: 로봇은 이 리허설을 당신의 원래 명령과 비교합니다. 공이 오른쪽 핀을 맞췄나요? 호박이 떨어졌을 때 의자가 부서졌나요? 만약 답이 "아니오"라면, 로봇은 그냥 포기하지 않습니다. 로봇은 탐정처럼 행동합니다. "왜 실패했을까?"라고 묻습니다.
- 예시: 만약 공이 엉뚱한 핀을 쳤다면, 로봇은 "아, 힘의 방향을 너무 왼쪽으로 잡았구나"라고 깨달을 수 있습니다.
- 예시: 만약 호박이 의자를 부수지 못했다면, "의자가 너무 튼튼하거나 호박이 충분히 무겁지 않다"라고 말할 수 있습니다.
수정: 그런 다음 로봇은 대본을 편집합니다. 힘의 방향을 [0.6, 1.0, 0]으로 바꾸거나 속도를 0.8m/s로 높일 수도 있습니다. 로봇은 영화 전체를 다시 쓰는 것이 아니라, 잘못된 특정 부분만을 수정합니다.
반복: 테스트를 다시 실행합니다. 통과하면 좋습니다! 통과하지 못하면 다시 수정합니다. 이 사이클은 시뮬레이션이 완벽해질 때까지 최대 10번까지 반복될 수 있습니다.

왜 "원샷(One-Shot)" 추측이 실패하는가

이 논문은 저자들이 "원샷 예측"이라고 부르는 기존 방식에 대해 강력하게 반론합니다. 과거에 AI 모델들은 단 한 순간에 모든 물리 법칙을 추측하려고 노력했습니다. 저자들은 이 접근 방식이 "취약하다(brittle)", 즉 쉽게 깨진다는 것을 발견했습니다.

카드 집을 쌓을 때 모든 카드가 어디에 위치해야 하는지 단 1초 만에 추측해서 집을 짓는다고 상상해 보세요. 첫 번째 카드를 약간이라도 잘못 놓으면 탑 전체가 무너집니다. 마찬가지로, AI가 물체의 무게나 밀어내는 방향을 첫 번째 시도에서 잘못 추측하면, 전체 영상이 물리적으로 불가능해집니다. 논문은 이러한 요소들(무게, 속도, 방향, 재질)이 서로 긴밀하게 연결되어 있기 때문에, 한 영역에서의 작은 실수가 전체 결과를 망친다는 것을 보여줍니다. PhysAgent는 물리 대본을 최종 정답이 아니라 테스트하고 수정해야 할 "가설"로 취급함으로써 이 문제를 해결합니다.

마법의 도구함: 시맨틱 API (Semantic APIs)

이 수정 과정을 더 쉽게 만들기 위해, 연구진은 로봇에게 **액션 API (Action APIs)**라고 불리는 특별한 도구 세트를 주었습니다. 로봇에게 "콘크리트 위의 나무에 대한 마찰 계수를 계산하라"와 같은 복잡한 수학을 요구하는 대신, 인간과 유사한 간단한 명령을 제공했습니다.

이것들은 로봇의 도구함이라고 생각하면 됩니다. "14뉴턴의 힘을 30도 각도로 적용하라"라고 말하는 대신, 로봇은 다음과 같이 말할 수 있습니다:

"공의 속도를 0.5m/s로 설정해."
"호박에 힘을 가해."
"의자를 단단하게 만들어."
"컵을 제자리에 고정해."

이것은 로봇을 훨씬 더 똑똑하게 만들고 어처구니없는 수학적 오류를 범할 가능성을 줄여줍니다. 이를 통해 로봇은 가공되지 않은 숫자들에 매몰되는 대신, 물리학의 이야기(예: "공이 굴러가서 컵 안에 착지해야 한다")에 집중할 수 있습니다.

연구 결과

연구팀은 27개의 서로 다른 장면과 불꽃놀이가 바람을 타고 휘어지거나 고리에 장난감에 걸리는 것과 같은 80가지의 서로 다른 물리적 사건에 대해 PhysAgent를 테스트했습니다. 그들은 이 방식을 다른 최고 수준의 비디오 생성기 및 물리 기반 AI와 비교했습니다.

결과는 명확했습니다:

더 나은 물리 법칙: PhysAgent는 훨씬 더 물리적으로 타당한 영상을 제작했습니다. AI 판사가 영상이 말이 되는지 결정하는 테스트에서, PhysAgent는 1.0점 만점에 0.714점을 기록하며, 그다음으로 뛰어난 물리 기반 방식인 RealWonder(0.631점)를 앞질렀습니다.
인간의 선호도: 실제 사람들이 두 영상 중 하나를 선택하도록 했을 때, 사람들은 일반적인 비디오 생성기인 Wan2.2보다 73.4% 더 자주, 그리고 다른 물리 기반 방식들보다 최대 93.6% 더 자주 PhysAgent의 영상을 선호했습니다.
루프의 중요성: 연구진이 "수정" 루프를 제거하고 로봇이 단 한 번만 추측하게 했을 때, 품질이 현저히 떨어졌습니다. 이는 체크하고 수리하는 능력이 핵심 비결임을 입증했습니다.

결론

이 논문은 현실적인 영상을 만드는 미래가 단순히 그림을 더 예쁘게 만드는 것이 아니라, 컴퓨터가 세상이 어떻게 돌아가는지 이해하게 만드는 데 있다는 점을 시사합니다. AI가 시뮬레이션을 실행하고, 자신의 작업을 확인하고, 실수를 바로잡게 함으로써, PhysAgent는 물체가 정확히 충돌하고, 부서지고, 튀어 오르는 영상을 만들 수 있습니다. 이는 혼란스러운 비디오 생성 과정을 세심하고 단계적인 실험으로 바꾸어, 화면 속의 공이 컵을 치는 모습이 마치 당신의 거실에서 실제로 일어날 수 있는 일처럼 느껴지도록 보장합니다.

기술 요약: 물리적으로 타당한 비디오 생성을 위한 반사적 에이전트 기반 물리 제어 (Reflective Agentic Physics Control for Physically Plausible Video Generation)

문제 정의

최근의 비디오 생성 기술은 높은 시각적 충실도와 시간적 일관성을 달 확보했으나, **물리적으로 타당한 역학(physically plausible dynamics)**을 생성하는 데에는 자주 실패합니다. 모델들은 종로 종종 물체가 접촉 없이 미끄러지거나, 힘에 대해 잘못된 방향으로 반응하거나, 재질에 따른 동작(예: 강체가 부서지거나 연성 물체가 변형되는 현상)을 무시하는 영상을 생성하곤 합니다. 이러한 문제는 특히 사용자가 지정한 물리적 이벤트에 따라 단일 입력 이미지를 타당한 미래로 변환해야 하는 이미지-투-비디오(image-to-video) 생성에서 더욱 두드이트게 나타납니다.

핵심 과제는 물리적 역학에 대한 **세밀한 제어(fine-grained control)**에 있습니다. 기존의 물리 기반 방식들은 시각-언어 모델(VLM)을 사용하여 구조화된 시뮬레이터 사양(장면 상태 및 이벤트 파라미터)을 **단 한 번의 패스(single pass)**로 추론하여 생성을 유도하려고 시도합니다. 그러나 이 접근 방식은 다음과 같은 이유로 본질적으로 취약합니다:

밀접하게 결합된 요소들: 사양은 많은 상호 의존적인 요소들(객체 그라운딩, 재질 특성, 힘의 크기, 타이밍 등)을 포함합니다. 개별적으로는 합리적으로 보이는 파라미터라도 다른 요소들과 결합되었을 때 전체 시뮬레이션을 실패하게 만들 수 있습니다.
실행 불가지론적 예측(Execution-Agnostic Prediction): 사양만으로는 정확성을 판단할 수 없으며, 반드시 실행을 통해 평가되어야 합니다. 단일 패스 예측은 비디오 합성 전 시뮬레이션 실패를 감지하고 복구할 수 있는 메커니즘이 부족합니다.

방법론: PhysAgent

저자들은 PhysAgent를 제안합니다. 이는 물리 시뮬레이션 제어를 일회성 예측이 아닌, 폐쇄 루프(closed-loop) 형태의 실행 인지 프로세스로 취급하는 **반사적 에이전트 프레임워크(reflective agentic framework)**입니다. 이 프레임워크는 실행 가능한 물리 제어 프로그램을 구축하고, 이를 시뮬레이션하며, 결과를 검증하고, 실패를 반복적으로 수정하는 방식으로 작동합니다.

1. 프레임워크 아키텍처

PhysAgent는 루프 내에서 작동하는 세 가지 주요 구성 요소로 이루어져 있습니다:

프로그램 생성기 ( $G$ ): 입력 이미지 $I$ $I$ 와 이벤트 프롬프트 $p$ $p$ 로부터 초기 물리 제어 프로그램 $P = (S, E)$ $P = (S, E)$ 를 구축합니다.
- 장면 상태 ( $S$ ): 그라운딩된 객체, 재질 유형, 밀도, 지지 기하 구조 및 카메라 파라미터를 정의합니다.
- 이벤트 프로그램 ( $E$ ): 대상 객체, 초기 속도, 힘, 토크 및 타이밍을 정의합니다.
검증기 ( $V$ ): 오류를 격리하기 위해 **단계별 점진적 검증(stage-specific progressive validation)**을 수행합니다:
1. 장면 재구성 검증: 3D 장면(기하 구조, 객체 위치, 카메라)이 입력 이미지와 일치하는지 확인합니다. 이 단계가 실패하면 시뮬레이터를 호출하지 않습니다.
2. 물리 시뮬레이션 검증: 물리 엔진에서 이벤트 프로그램을 실행하여 짧은 진단 비디오를 생성합니다. 검증기는 프롬프트에 대비하여 궤적의 정확성, 접촉 타이밍, 힘의 방향 및 재질 반응을 체크합니다.
플래너 ( $P$ ): 검증에 실패할 경우, 플래너는 진단 결과와 이전 라운드의 메모리를 분석하여 **타겟팅된 피드백( $F$ )**을 생성합니다. 이 피드백은 전체 프로그램을 다시 만드는 대신 특정 편집(예: "초기 속도 증가", "힘의 방향 변경", "재질 수정")을 제안합니다.

2. 시맨틱 물리 제어 API (Semantic Physics-Control APIs)

VLM이 저수준의 시뮬레이터 명령을 직접 예측할 때 발생하는 구문적 오버헤드와 취약성을 줄이기 위해, 저자들은 일련의 시맨틱 액션 API를 설계했습니다. 이벤트 프로그램은 고수준 연산자의 시퀀스로 표현됩니다:

상태 초기화: SetVelocity, SetAngularVelocity.
작동(Actuation): ApplyForce, ApplyTorque, ApplyAngledForce.
교란(Disturbance): ApplyDisturbance (예: 바람).
제약(Constraints): SetPosition, SetOrientation, FixObject.

이러한 API를 통해 에이전트는 운동과 상호작 작용 수준에서 물리적 이벤트를 추론할 수 있으며, 실행 중에만 이를 구체적인 시뮬레이터 연산으로 컴파일합니다.

3. 반사 루프 (The Reflective Loop)

프로세스는 반복적인 정제 스케줄을 따릅니다:

생성(Generate): 초기 프로그램을 생성합니다.
검증(Validate): 장면 재구성을 확인합니다. 통과하면 짧은 진단 시뮬레이션을 실행합니다.
진단(Diagnose): 검증기가 특정 실패를 식별합니다 (예: "공이 핀을 치는 대신 테이블 아래로 굴러떨어짐").
복구(Repair): 플래너는 진단에 따라 프로그램을 업데이트합니다 (예: 힘 벡터를 [0.6, 1.0, 0]에서 [1.4, 1.0, 0]으로 조정).
반복(Repeat): 진단 롤아웃이 통과하거나 최대 반복 예산에 도달할 때까지 루프가 계속됩니다. 최종 검증된 롤아웃은 비디오 생성기를 위한 구조화된 모션 프라이어(motion prior) 역할을 합니다.

주요 기여

실행 인지적 정식화 (Execution-Aware Formulation): 본 논문은 물리적으로 타당한 비디오 생성을 정적인 파라미터를 예측하는 문제가 아니라, 실행 가능한 물리 프로그램을 제어하는 문제로 재정의합니다. 이는 사양을 테스트하고 수정할 수 있는 실행 가능한 가설로 취급합니다.
반사적 에이전트 프레임워크: VLM 기반 생성, 물리 시뮬레이션, 반사적 검증 및 타겟팅된 프로그램 복구를 통합하는 폐쇄 루프 시스템을 도입합니다. 이를 통해 복잡한 궤적과 다단계 상호 작용을 점진적으로 구현할 수 있습니다.
시맨틱 제어 인터페이스: 저수준의 수치 명령을 표현력 있고 구성 가능한 프리미티브로 추상화하는 물리 제어 API를 설계하여, 제어 유연성과 정제 효율성을 모두 향상시켰습니다.
단계별 검증: 장면 재구성 오류와 역학 오류를 분리하는 단계별 검증 전략을 통해 불필요한 다운스트림 롤아웃을 방지하고 타겟팅된 복구를 가능하게 합니다.

실험 결과

저자들은 27개의 고유한 장면과 80개의 이벤트 케이스(시각적 일관성을 테스트하기 위해 장면당 여러 이벤트 포함)로 구성된 커스텀 벤치마크에서 PhysAgent를 평가했습니다.

정량적 지표:
- PhysReal: 물리적 타당성과 프롬프트 정렬도를 측정하는 GPT 기반 정규화 점수입니다. PhysAgent는 0.714를 기록하여 일반적인 TI2V 모델(예: Wan2.2, 0.633) 및 물리 기반 베이스라인(예: PhysCtrl, 0.579, PhysGen3D, 0.480)을 능가했습니다.
- 시각적 품질: PhysAgent는 대부분의 베이스라인에 비해 Visuals(0.644), Aesthetics(0.521), Consistency(0.266)에서도 더 높은 점수를 획득하여, 물리적 제어가 시각적 충실도를 저해하지 않음을 입증했습니다.
사용자 연구 (2AFC): 두 가지 대안 중 하나를 선택하는 강제 선택 연구에서, PhysAgent는 다음 세 가지 기준에서 모든 베이스라인보다 선호되었습니다:
- 액션 준수 (Action Following): 70.2% – 92.4% 선호율.
- 시각적 품질 (Visual Quality): 60.7% – 90.3% 선호율.
- 물리적 타당성 (Physical Plausibility): 66.5% – 93.6% 선호율.
절제 연구 (Ablation Studies):
- **반사 루프(reflection loop)**를 제거했을 때(일회성 예측) PhysReal 점수가 가장 크게 하락(0.631)하여, 반복적 복구의 필요성을 확인했습니다.
- 시맨틱 API를 저수준 파라미터로 대체했을 때 성능이 저하되고 평균 정제 라운드가 3.63회에서 5.74회로 증가하여, 시맨틱 추상화가 표현력과 효율성을 모두 개선함을 보여주었습니다.

의의 및 주장

본 논문은 실행 인지적 물리 제어가 정밀한 접촉 타이밍, 힘의 방향, 재질 반응 및 다단계 상호 작용을 요구하는 프롬프트에 있어 제어 가능한 비디오 생성을 위한 유망한 방향임을 주장합니다.

저자들은 자신들의 접근 방식이 복잡하게 결합된 물리적 요소들로 인해 사용자 의도를 실행 가능한 시뮬레이션으로 번역하는 데 어려움을 겪는 '원샷(one-shot)' VLM 예측의 한계를 넘어선다고 강조합니다. 물리적 사양을 시뮬레이션, 진단 및 복구할 수 있는 실행 가능한 가설로 취함으로써, PhysAgent는 기존 방식이 갖지 못한 견고함과 세밀한 제어 수준을 달성합니다. 이 프레임워크는 장면 상태와 이벤트 역학을 분리하고 시맨틱 인터페이스를 사용하는 것이 시각적 일관성을 희생하지 않으면서도 에이전트가 복잡한 물리적 시나리오를 처리할 수 있게 함을 입증합니다.