🤖 machine learning

Do-Undo Bench: Reversibility for Action Understanding in Image Generation

본 논문은 비전-언어 모델이 실제 세계의 행동 역학을 이해하는 능력을 평가하기 위해, 합리적인 장면 변형을 생성한 후 이를 원래 상태로 되돌리는 작업을 요구하는 새로운 프레임워크인 Do-Undo 벤치마크를 소개합니다.

원저자: Shweta Mahajan, Shreya Kadambi, Hoang Le, Rajeev Yasarla, Apratim Bhattacharyya, Munawar Hayat, Fatih Porikli

게시일 2026-05-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shweta Mahajan, Shreya Kadambi, Hoang Le, Rajeev Yasarla, Apratim Bhattacharyya, Munawar Hayat, Fatih Porikli

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

마법 같은 사진 앨범을 상상해 보세요. 앨범에게 "냉장고를 열어"라고 말하면, 열린 냉장고를 보여주는 사진을 보여줍니다. 하지만 여기에는 함정이 있습니다. 오늘날 가장 똑똑한 AI 사진 앨범 대부분은 물리법칙이 아닌, 그저 기술만 아는 마술사들과 같습니다. 그들은 열린 냉장고를 보여줄 수는 있지만, "다시 닫아"라고 요청하면 냉장고를 실수로 삭제하거나 벽의 색을 바꾸거나, 문이 공중에 떠 있게 만들 수도 있습니다. 그들은 문을 여는 것과 닫는 것이 동전의 양면이라는 사실을 진정으로 이해하지 못합니다.

이 논문은 AI 가 단순히 사진이 어떻게 보여야 할지 추측하는 것을 넘어, 실제 세계가 어떻게 작동하는지 진정으로 이해하는지 확인하기 위한 새로운 테스트인 Do-Undo Bench를 소개합니다.

다음은 간단한 비유를 통해 그들의 아이디어를 정리한 것입니다:

1. 문제: "일방통행" AI

현재의 AI 모델은 "고양이를 추가해"나 "나무를 제거해"와 같은 지시를 따르는 데는 뛰어납니다. 하지만 사물의 상태를 변화시키는 행동에는 어려움을 겪습니다.

비유: 모래성 쌓는 법을 아는 AI 를 생각해 보세요. "모래성을 쌓아"라고 요청하면 훌륭한 작업을 해냅니다. 하지만 그다음 "그걸 되돌려서 모래를 다시 양동이에 넣어"라고 요청하면, 아예 사진을 삭제하거나 모래를 물로 바꿔버릴 수도 있습니다. 모래가 양동이에서 모래성으로 이동했고 다시 이동할 수 있다는 사실을 이해하지 못하기 때문입니다.

2. 해결책: "Do-Undo" 챌린지

연구자들은 AI 를 위한 새로운 게임을 만들었습니다. 이 테스트를 통과하려면 AI 는 두 가지 작업을 연속으로 수행해야 합니다:

Do: 사진 (예: 닫힌 서랍) 과 명령 ("서랍을 열어") 을 보고, 서랍이 열린 모습을 보여주는 새로운 사진을 생성합니다.
Undo: 그 새로운 열린 서랍 사진과 반대 명령 ("서랍을 닫아") 을 보고, 원래의 닫힌 서랍과 정확히 똑같은 사진을 생성합니다.

AI 가 두 가지 모두 완벽하게 수행할 수 있다면, 그것은 인과관계를 이해한다는 증거가 됩니다. "열기"가 서랍을 밀어내고 "닫기"가 다시 당겨 넣는다는 것을, 주방의 나머지 부분은 변하지 않으면서 이해한다는 뜻입니다.

3. 데이터셋: 실제 주방 비디오

AI 에게 이 교훈을 가르치기 위해 연구자들은 임의의 사진을 만들어내지 않았습니다. 대신 Epic-Kitchens 데이터셋 (사람들이 자신의 집에서 요리하는 모습) 에서 수천 개의 실제 비디오를 사용했습니다.

과정: "수저를 집어 들기"나 "수전 틀기"와 같은 실제 행동의 비디오 클립을 가져왔습니다.
필터링: 그들은 되돌릴 수 있는 행동만 남겼습니다. 서랍은 열고 닫을 수 있지만, 종이를 "다시 자르지"는 것은 불가능합니다. 따라서 되돌릴 수 없는 것들은 버렸습니다.
확장: 원래 비디오 설명은 매우 짧았습니다 (예: "서랍 열기"). 연구자들은 스마트한 AI 를 이용해 이것들을 길고 상세한 이야기로 확장했습니다 (예: "오른손으로 나무 서랍을 완전히 열릴 때까지 뒤로 당겨서 안에 있는 식기를 드러내세요"). 이렇게 하면 AI 에게 무엇을 해야 하는지 훨씬 더 명확한 지도를 제공합니다.

4. 결과: AI 는 여전히 배우고 있습니다

연구자들은 이 새로운 "Do-Undo" 게임에서 세계 최고의 AI 모델들을 테스트했습니다.

점수: 가장 똑똑한 모델조차 실패했습니다. 사진이 예쁘게 보이게 만드는 것 (높은 시각적 품질) 은 좋았지만, 물리법칙을 올바르게 구현하는 것은 형편없었습니다.
- 예시: "수전을 끄라"고 요청했을 때, 일부 모델은 물이 계속 흐르게 하거나 수전 자체를 사라지게 만들었습니다. "칼을 다시 제자리에 놓아"라고 요청했을 때, 칼이 공중에 떠 있게 만들기도 했습니다.
해결책: 연구자들은 하나의 모델 (BAGEL 이라고 함) 을 가져와 그들의 "Do-Undo" 데이터셋에 특별히 훈련시켰습니다.
- 결과: 이 훈련된 모델은 게임에서 훨씬 더 나아졌습니다. 서랍을 열면 반드시 다시 닫아 시작점으로 돌아갈 수 있어야 한다는 것을 배웠습니다. 행동이 이미지 스타일이 아닌 사물의 상태를 변화시킨다는 것을 이해하기 시작한 것입니다.

5. 왜 이것이 중요한가

이 논문은 AI 가 주방의 로봇 팔을 돕는 것과 같은 실제 세계에서 진정으로 유용해지기 위해서는 정적 이미지가 아닌 동역학을 이해해야 한다고 주장합니다.

비유: 현재 AI 는 단어의 사전은 외웠지만 문장 구성법은 배우지 않은 아이와 같습니다. "열기"와 "닫기"의 의미는 알지만, 그 단어들이 물리적 세계와 어떻게 상호작용하는지는 모릅니다.
목표: 이 "Do-Undo" 테스트는 새로운 성적표입니다. AI 에게 세계가 되돌릴 수 있고 논리적임을 증명하도록 강요함으로써, 단순히 예쁜 사진을 생성하는 것이 아니라 사물이 어떻게 작동하는지 실제로 이해하는 더 똑똑한 로봇과 가상 비서로 나아가는 길을 엽니다.

요약하자면: 이 논문은 "우리는 AI 가 물리법칙을 이해했음을 증명하기 위해 문을 열고 완벽하게 다시 닫아야 하는 테스트를 만들었습니다. 현재의 AI 는 이 테스트에 실패하지만, 실제 생활의 되돌릴 수 있는 행동으로 훈련시키면 올바르게 이해하기 시작합니다"라고 말합니다.

기술 요약: Do-Undo 벤치마크: 이미지 생성에서의 행동 이해를 위한 가역성

문제 제기
현재의 비전 - 언어 모델 (VLM) 은 텍스트 기반 이미지 합성 및 편집에서 상당한 진전을 이루었습니다. 그러나 실제 장면의 물리적 역학을 이해하고 시뮬레이션하는 능력에서는 근본적인 한계를 여전히 안고 있습니다. 기존 접근법은 주로 객체 수준의 조작 (예: 객체 추가 또는 제거) 이나 조명과 같은 스타일 속성 유지에 중점을 두며, 물리적 상호작용을 지배하는 인과 관계를 간과하는 경향이 있습니다. 그 결과, 모델들은 연속적인 비디오 시퀀스를 관찰하지 않고는 특정 물리적 행동 (예: 물체 들어 올리거나 서랍 열기) 으로 인한 상태 변화를 합리적으로 반영하는 이미지를 생성하는 데 어려움을 겪습니다. 이러한 격차는 행동이 환경을 어떻게 변화시키는지 이해해야 하는 로봇 공학 및 embodied AI 에이전트를 위한 신뢰할 수 있는 합성 데이터 생성기로 VLM 을 배포하는 것을 방해합니다.

방법론
이 한계를 해결하기 위해 저자들은 실제 세계 행동의 결과를 시뮬레이션한 후 이를 원래 상태로 되돌리는 것을 요구하는 새로운 벤치마크이자 학습 패러다임인 Do-Undo 작업을 도입했습니다.

작업 구성: 이 작업은 객체와 에이전트 (예: 손) 가 포함된 입력 이미지 ( $I_O$ ) 를 포함합니다. 모델은 순방향 행동 프롬프트 ( $P_F$ ) 를 받아 행동 후 상태를 나타내는 "Do" 이미지 ( $I_F$ ) 를 생성해야 합니다. 핵심적으로, 모델은 역방향 프롬프트 ( $P_R$ ) 와 생성된 $I_F$ 를 받아 원래 입력 상태 $I_O$ 를 재구성하는 "Undo" 이미지 ( $I_R$ ) 를 생성해야 합니다. 이 순방향 - 역방향 요구사항은 단순한 의미적 편집이 아닌 진정한 인과 관계 이해를 테스트합니다.
데이터셋 큐레이션 (Do-Undo 데이터셋): 저자들은 일상적인 작업을 수행하는 인간의 1 인칭 시점을 특징으로 하는 Epic-Kitchens 비디오 데이터셋에서 대규모 데이터셋을 큐레이션했습니다.
- 선별: "열기/닫기", "들기/놓기", "켜기/끄기"와 같이 가역적인 행동과 일관된 배경을 가진 고품질 프레임을 필터링했습니다.
- 프롬프트 확장: 원래 주석이 짧기 때문에, VLM(Qwen3-VL) 을 사용하여 행동 서술을 상세한 프롬프트로 확장했습니다. 이러한 프롬프트에는 시각적 맥락, 객체 속성 (색상, 재질), 에이전트 세부 사항 (손 자세), 그리고 공간적 관계가 포함됩니다.
- 구조: 데이터셋은 $(I_O, P_F, I_F, P_R)$ 튜플로 구성되며, 10 가지 행동 클래스에 걸쳐 총 22,529 개의 학습 샘플과 451 개의 테스트 샘플로 이루어져 있습니다.
모델 학습: 저자들은 텍스트와 이미지를 교차하여 생성할 수 있는 통합 비전 - 언어 모델인 BAGEL을 미세 조정했습니다. 학습 목표는 $I_O$ 와 $P_F$ 에 조건부인 순방향 이미지 $I_F$ 생성, 그리고 $I_F$ 와 $P_R$ 에 조건부인 역방향 이미지 $I_R$ 생성에 대한 평균 제곱 오차 (정류 흐름 매칭을 통해) 를 최소화하는 것이며, 이때 $I_R$ 이 $I_O$ 와 일치해야 한다는 제약 조건이 있습니다.

주요 기여

Do-Undo 작업 구성: 모델이 행동의 시각적 결과를 생성하고 정확하게 역전시켜 원래 장면을 재구성하도록 요구하는 새로운 작업입니다. 이는 인과 역학의 포착을 명시적으로 테스트합니다.
Do-Undo 벤치마크 및 데이터셋: 실제 세계 비디오에서 추출된 가역적 행동의 고품질 데이터셋과 물리적으로 일관된 시각적 생성을 보장하기 위한 전문 프롬프트 전략이 동반됩니다.
실증적 평가: 최신 모델들 (Qwen-Image 및 Flux-Kontext 포함) 이 행동 가역성에서 어려움을 겪고 있음을 보여주는 포괄적인 평가로, 높은 의미적 충실도에도 불구하고 행동 추론의 근본적인 격차를 드러냈습니다.
베이스라인 개선: Do-Undo 데이터셋으로 미세 조정된 모델인 BAGEL-DoUndo를 개발하여, 베이스라인 대비 행동 인식 생성에서 향상된 충실도와 일관성을 보였습니다.

결과

Zero-Shot 성능: Qwen-Image 및 BAGEL과 같은 최신 모델은 높은 의미적 유사도 점수 (DINO, CLIP) 를 달성했으나, 행동 이해 지표 (행동 정확도) 에서는 부진했습니다. 예를 들어, Qwen-Image 는 순방향 행동에서 약 52%, 역방향 행동에서 약 29% 의 정확도를 보였으며, 종종 객체를 환각하거나 상태를 올바르게 되돌리지 못했습니다.
미세 조정의 영향: BAGEL-DoUndo 모델은 베이스라인 BAGEL 보다 현저히 우수한 성능을 보였습니다. 행동 정확도 (순방향 58.77%, 역방향 36.26%) 가 높아졌고 의미적 일관성 (DINO 점수 >0.83) 이 개선되었습니다.
Ablation 연구: 확장된 프롬프트를 사용하더라도 순방향 행동만 학습하는 것은 견고한 행동 이해를 유도하지 못했습니다. 역방향 이미지 쌍의 포함이 성능 향상에 결정적인 것으로 확인되었습니다.
멀티턴 생성: 모델이 행동 시퀀스를 생성하는 멀티턴 시나리오에서 BAGEL-DoUndo 는 광학 흐름 오차 (EPE) 분석을 통해 베이스라인 대비 더 나은 배경 일관성과 객체 상태 정확도를 유지했습니다.
사용자 연구: 인간 평가자들은 행동 의미와 객체 상호작용에 대한 더 나은 준수를 이유로 베이스라인보다 BAGEL-DoUndo 를 66.7% 의 비율로 선호했습니다.

의의 및 주장
이 논문은 Do-Undo 벤치마크가 다중 모달 시스템에서 행동 인식 생성을 평가하고 발전시키는 데 중요한 테스트베드 역할을 한다고 주장합니다. 저자들은 현재 모델들이 행동을 되돌리지 못하는 능력이 진정한 물리적 추론의 부재를 드러내며, 이는 신뢰할 수 있는 embodied AI 에 필수적이라고 논합니다. 가역적 행동에 대한 명시적 감독이 생성 충실도를 향상시킨다는 것을 보여줌으로써, 이 연구는 실제 세계 역학에 대해 추론하고 로봇 공학 및 시뮬레이션을 위한 물리적으로 타당한 합성 데이터를 생성할 수 있는 VLM 개발로 이어지는 경로를 제시합니다. 저자들은 현재 작업이 주방 환경과 범용 VLM 으로 제한되어 있으며, 향후 이러한 벤치마크를 전문화된 embodied 환경과 더 복잡한 인과 관계로 확장해야 한다고 겸손하게 언급하고 있습니다.