🤖 AI

Efficient Reinforcement for Visual-Textual Thinking with Discrete Diffusion Model

본 논문은 국소적 편집을 통해 효율적인 시각적 롤아웃을 가능하게 하는 이산 확산 모델을 활용하고 교차 모달 간섭을 제거하기 위한 인수 분해된 보상 할당을 도입함으로써, 자기회귀 베이스라인 대비 상당한 계산 비용 절감과 성능 향상을 달성하는 통합 멀티모달 모델을 위한 강화 학습 프레임워크를 제안한다.

원저자: Yoonjeon Kim, Yuhta Takida, Chieh-Hsin Lai, Eunho Yang, Yuki Mitsufuji

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yoonjeon Kim, Yuhta Takida, Chieh-Hsin Lai, Eunho Yang, Yuki Mitsufuji

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 요약: 그림과 글자로 "생각하는" 로봇 가르치기

당신이 아주 똑똑한 로봇에게 퍼즐을 푸는 법을 가르치고 있다고 상상해 보세요. 이 퍼즐은 단순히 수학 문제를 푸는 것이 아닙니다. 그림을 보고, 그 위에 선을 그려서 무언가를 파악한 다음, 정답을 글로 적는 과정이 포함됩니다.

오랫동안 이 작업을 수행하는 가장 뛰어난 로봇들은 자기회귀(Autoregressive, AR) 모델의 형태로 만들어졌습니다. AR 모델은 마치 왼쪽에서 오른쪽으로 한 단어씩 이야기를 써 내려가는 엄격한 필사가와 같습니다. 만약 필사가가 첫 단어에서 실수를 하면, 실수를 바로잡기 위해 페이지 전체를 지우고 처음부터 다시 써야 합니다. 이미지의 세계에서도 마찬가지입니다. 로봇이 문제를 해결하기 위해 그림 속의 아주 작은 화살표 하나만 바꾸고 싶더라도, AR 로봇은 전체 이미지를 처음부터 다시 생성해야 합니다. 이는 집 전체를 새로 짓는 데 문손잡이 하나를 바꾸려는 것과 같아서, 엄청나게 느리고 낭비가 심합니다.

이 논문은 **이산 확산 모델(Discrete Diffusion Models)**을 사용하여 로봇을 훈련하는 새로운 방법을 소개합니다. 이 모델은 마치 디지털 지우개와 돋보기를 가진 숙련된 화가와 같습니다. 전체 그림을 계속 다시 그리는 대신, 이 화가는 수정이 필요한 특정 부분만을 확대하여 그 부분만 지우고 다시 그릴 수 있습니다. 이것을 **국소적 편집(Localized Editing)**이라고 부릅니다.

문제점: "그룹 보상"의 함정

연구진은 **강화 학습(Reinforcement Learning, RL)**이라는 강력한 훈련법을 사용하고자 했습니다. RL을 다음과 같이 상상해 보세요. 로봇이 다양한 해결책을 시도하면, "코치"가 마지막에 점수(보상)를 주는 게임입니다.

로봇이 정답을 맞히면 높은 점수를 받습니다.
그림이 문제 해결에 도움이 된다면 높은 점수를 받습니다.

하지만 연구진은 코치가 점수를 주는 방식에서 결함을 발견했습니다. 이전에는 코치가 페이지 전체(그림과 글을 모두 합친 것)에 대해 단 하나의 점수를 부여했습니다.

비유: 학생이 아름다운 그림을 그리고 정확한 수학 답을 적었다고 가정해 봅시다. 그런데 코치가 "수학은 잘했지만, 그림이 좀 지저분하니 과제 전체에 대해 낮은 점수를 주겠다"라고 말하는 것과 같습니다.
결과: 로봇은 혼란에 빠집니다. 로봇은 "내가 그린 화살표가 점수를 깎아 먹었으니, 화살표를 그리지 말았어야 했나?"라고 생각하게 됩니다. 실제로는 화살표가 도움이 되었음에도 불구하고, '나쁜' 그림 신호가 '좋은' 수학 신호를 실수로 처벌하게 된 것입니다. 이를 **교차 모달 간섭(cross-modal interference)**이라고 합니다.

해결책: LocFac-RL

저자들은 이 두 가지 문제를 해결하기 위해 LocFac-RL(국소적 및 요인화된 강화 학습)이라는 새로운 시스템을 만들었습니다.

1. "확대하기" 전략 (국소적 편집)

로봇이 생각할 때마다 전체 이미지를 다시 구축하게 하는 대신, 필요한 이미지의 특정 부분만 편집하도록 가르쳤습니다.

비유: 문서 편집 중 세 번째 단락에 오타가 있다면, 책 전체를 다시 타이핑하지 않고 그 세 글자만 바꾸는 것과 같습니다.
이점: 이 방식은 로봇이 이미 완벽한 부분을 재생성하는 데 시간을 낭비하지 않게 하여, 훈련 과정을 26.9% 더 빠르게(일부 모델에서는 최대 52%까지) 만들었습니다.

2. "분리된 성적표" 전략 (요인화된 보상)

로봇이 혼합된 신호 때문에 혼란을 겪지 않도록, 연구진은 코치가 점수를 주는 방식을 변경했습니다. 페이지 전체에 하나의 큰 점수를 주는 대신, 두 개의 별도 점수를 부여했습니다.

점수 A: 그림에 대한 점수 (화살표가 올바른 방향을 가리키고 있는가?)
점수 B: 텍스트에 대한 점수 (수학 답이 정확한가?)
비유: 이제 학생이 그림은 엉망이지만 수학은 잘 맞혔다면, 코치는 "수학 점수는 10/10점이야! 그림 점수는 5/10점이니 다음엔 그림을 더 신경 써보자. 하지만 수학은 계속 잘해줘!"라고 말하는 것과 같습니다.
이점: 이를 통해 로봇이 혼란을 겪는 것을 막았습니다. 로봇은 좋은 그림이 텍스트에 도움이 되고, 좋은 텍스트가 그림에 도움이 된다는 것을 배웠으며, 서로를 처벌하지 않게 되었습니다. 이 방법은 기존의 "단일 점수" 방식보다 성능을 11.2% 향상시켰습니다.

결과: 더 빠르고 똑똑해진 로봇

이 두 가지 기술을 결붙여, 연구진은 다음과 같은 능력을 갖춘 로봇을 만들었습니다.

단계적으로 생각함: 문제를 보고, 도움이 되는 단서(화살표나 상자 등)를 그린 다음, 그 그림을 바탕으로 답을 적습니다.
효율적임: 생각을 바꿀 때마다 전체 이미지를 재생성하며 시간을 낭비하지 않고, 필요한 부분만 편집합니다.
더 정확함: 그림과 글에 대한 점수를 분리함으로써, 이전보다 훨씬 더 잘 학습했습니다.

테스트 결과, 이 새로운 방식은 기존의 "엄격한 필사가" 로봇(AR 모델)을 크게 앞질렀습니다. 훈련 속도가 더 빠를 뿐만 아니라, 복잡한 시각적 퍼즐에서 더 나은 답을 내놓았습니다.

요약

이 논문은 로봇에게 그림과 글을 모두 사용하여 문제를 풀도록 가르칠 때, 작은 변화를 위해 모든 것을 다시 써야 하는 느리고 선형적인 필사자처럼 대하지 말아야 한다고 보여줍니다. 대신, 특정 부분을 편집할 수 있고 예술(그림)과 글쓰기에 대해 각각 별도의 피드백을 받을 수 있는 유연한 화가처럼 대해야 합니다. 이를 통해 로봇은 더 빠르게 배우고 더 명확하게 생각할 수 있습니다.

기술 요약: 이산 확산 모델을 이용한 시각-텍스트적 사고의 효율적인 강화 학습

문제 정의

시각적 및 텍스트적 추론이 교차되는 복합적인 작업을 수행할 수 있는 통합 멀티모달 모델은 공간 계획 및 시각적 문제 해결과 같은 복잡한 작업에서 점점 더 중요해지고 있습니다. 그러나 기존의 접근 방식은 주로 자기회귀(Autoregressive, AR) 아키텍처에 의존합니다. 이러한 맥락에서 AR 모델의 결정적인 한계는 인과적 디코딩(causal decoding) 특성입니다. 국소적인 시각적 편집이나 추론 단계(예: 경로를 나타내기 위해 화살표 그리기)를 수행하려면 모델이 전체 이미지 토큰 시퀀스를 다시 생성해야 합니다. 이는 최적화를 위해 반복적인 샘플링이 필수적인 강화 학습(RL) 롤아웃 과정에서 상당한 계산 오버헤드를 초상합니다.

또한, 통합 모델에 RL을 적용하는 것은 신용 할당(credit assignment) 문제를 야기합니다. 순차적으로 처리하는 대신 병렬로 토큰을 처리하는 이산 확산 모델(Discrete Diffusion Models, DDMs)의 경우, 이미지와 텍스트 토큰 모두에 단일 결합 보상 신호를 할당하면 **교차 모달 간섭(cross-modal interference)**이 발생할 수 있습니다. 텍스트의 정확성을 위한 보상 신호가 확산 과정의 고유한 순차적 질서 부재로 인해 시각적 토큰 업데이트를 의도치 않게 불안정하게 만들 수 있으며, 그 반대의 경우도 마찬가지입니다.

방법론: LocFac-RL

저자들은 효율적인 교차 추론을 가능하게 하기 위해 설계된 LocFac-RL(Localized and Factorized RL) 프레임워크를 제안합니다. 이 프레임워크는 **이산 확산 모델(DDM)**을 사용합니다. 이 접근 방식은 두 가지 주요 단계로 구성됩니다.

1. GroundEditReason을 통한 지도 미세 조정(SFT)

모델에 교차 추론 능력과 근거 기반 편집(grounded edits) 능력을 초기화하기 위해, 저자들은 2단계 훈련 절차를 도입합니다.

데이터셋 구축: 저자들은 ZebraCoT와 ThinkMorph에서 파생된 확장 데이터셋인 GroundEditReason을 구축합니다. 이러한 데이터셋은 중간 단계에 대한 명시적인 공간적 감독 정보가 부족하므로, 저자들은 이미지 정렬(ORB 특징점)과 차이 맵핑(difference mapping)을 사용하여 소스 이미지와 추론 이미지 사이의 차이가 발생하는 영역을 자동으로 주석 처리하고 바운딩 박스를 생성했습니다.
훈련 목표: 모델은 통합 마스크 재구성(unified masked reconstruction) 목표에 대해 훈련됩니다. 모델은 다음 세 가지 순차적 구성 요소를 생성하는 법을 배웁니다:
1. 그라운딩(Grounding): 편집이 필요한 영역을 식별하는 바운딩 박스([LOC] 형식) 예측.
2. 시각적 추론(Visual Reasoning): 식별된 영역에 대한 국소적 편집 생성.
3. 텍스트적 추론(Textual Reasoning): 편집된 시각적 문맥을 조건으로 최종 답변 생성.

2. GRPO를 이용한 강화 학습(RL)

모델은 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**를 통해 추가로 최적화됩니다. 이 방법론은 AR 모델의 한계와 공동 보상 할당 문제를 해결하기 위해 두 가지 핵심 메커니즘을 도입합니다.

국소적 시각 롤아웃(Localized Visual Rollouts):
전체 이미지를 재생성하는 대신, 모델은 DDM의 양방향 문맥을 활용하여 국소적 편집을 수행합니다.
- 모델은 그라운딩 박스 $(x_1, y_1, x_2, y_2)$ 를 예측합니다.
- 이 영역 내의 VQ-잠재(VQ-latent) 토큰들만 마스킹되어 디노이징을 위한 [MASK] 토큰으로 교체됩니다.
- 영역 외부의 토큰은 원본 이미지에서 복사하여 보존됩니다.
- 이를 통해 디노이징 단계를 $K$ (전역)에서 마스킹된 영역에 비례하는 비율로 줄여 계산 비용을 크게 낮춥니다.
요인화된 보상 할당(Factorized Reward Assignment):
교차 모달 간섭을 방률하기 위해, 저자들은 보상 신호를 분리할 것을 제안합니다.
- 결합 할당(Joint Assignment, 베이스라인): 전체 시퀀스 $X = [X_I, X_T]$ (이미지 + 텍스트)에 단일 보상 $R(X)$ 를 할당합니다.
- 요인화된 할당(Factorized Assignment, 제안 방식): 보상을 모달리티별 구성 요소로 분해합니다:
  - $R_1(X_I)$ : 시각적 보상 (예: 생성된 이미지와 정답 이미지 사이의 CLIP 유사도).
  - $R_2(X_I, X_T)$ : 텍스트적 보상 (정답의 정확성 및 형식), 완료된 이미지를 조건으로 함.
- 정책 업데이트는 미래의 모달리티에 대해 주변화(marginalizing)함으로써 도출되며, 이를 통해 이미지 업데이트는 시각적 보상에만 의존하고 텍스트 업데이트는 완료된 이미지와 텍스트 보상에만 의존하도록 보장합니다. 이는 미래의 텍스트 토큰이 현재의 이미지 업데이트에 영향을 미치는 "인과적 누출(causal leakage)"을 제거합니다.

주요 기여

이산 확산 모델을 이용한 멀티모달 RL의 체계화: 본 논문은 양방향 모델링과 병렬 디코딩을 통해 AR 아키텍처의 순차적 제약을 극복함으로써, 멀티모달 이산 확산 모델에 RL을 적용하기 위한 체계적인 프레임워크를 제공합니다.
근거 기반 국소적 시각 롤아웃: 편집 그라운딩 SFT 단계와 RL 중 국소적 편집을 도입함으로써, 편집 효과를 유지하면서도 시각적 롤아웃의 계산 비용을 크게 줄였습니다.
모달리티 요인화 신용 할당: 저자들은 병렬 디코딩 아키텍처에서 발생하는 교차 모달 신용 오할당 문제를 식별하고 해결했습니다. 제안된 요인화된 보상 체계는 이미지와 텍스트 업데이트를 분리하여 멀티모달 RL 훈련을 안정화합니다.

실험 결과

방법론은 두 가지 이산 확산 아키텍처(LaViDa-O 및 MMaDA-Parallel)에서 평가되었으며, AR 베이스라인(ANOLE)과 비교되었습니다.

효율성:
- 시각적 롤아웃 시간: 국소적 편집은 전역 편집과 비교했을 때 LaViDa-O에서 26.9%, MMaDA-Parallel에서 **52.5%**의 시각적 롤아웃 시간 감소를 달 나타냈습니다.
- 총 훈련 시간: 전체 훈련 시간은 전역 편집 대비 LaViDa-O에서 12.3%, MMaDA-Parallel에서 16.9% 감소했습니다. AR 베이스라인(ANOLE)과 비교했을 때, 국소적 편집을 적용한 이산 확산 모델은 총 훈련 시간에서 **79.6%**의 감소를 달성했습니다.
성능:
- RL 개선 효과: LocFac-RL 방식은 평균 정확도(MMVeT, MMMU, VStarBench 등)에서 결합 보상 할당 대비 11.2%, 베이스 모델(SFT 전용) 대비 **38.04%**의 향상을 보였습니다.
- AR과의 비교: AR 모델(ANOLE)도 RL을 통해 개선을 보였으나, 국소적 편집을 적용한 이산 확산 모델은 훨씬 낮은 계산 비용으로 더 높은 평균 정확도(ANOLE의 19.05% 대비 42.24%)를 달성했습니다.
절제 연구(Ablation Studies):
- 모달리티 통합: 통합 멀티모달 RL이 단일 모달(텍스트 전용 또는 이미지 전용) RL 베이스라인보다 우수한 성능을 보여, 교차되는 추론의 이점을 확인했습니다.
- 신용 할당: 요인화된 신용 할당이 결합된 보상 할당보다 일관되게 우수한 성능을 보여, 결합된 보상이 허위 신용 할당을 유발한다는 가설을 입증했습니다.
- 그라운딩: SFT 단계는 예측된 그라운딩 박스의 IoU(Intersection over Union)를 크게 향상시켰으며(0.384에서 0.826으로), 이는 국소적 편집의 성공에 결정적입니다.

의의 및 주장

본 논문은 LocFac-RL이 멀티모달 추론을 위한 확장 가능하고 효율적인 대안으로서 자기회귀 패러다임을 제공한다고 주장합니다. 이산 확산 모델의 병렬 디코딩과 양방향 문맥을 활용함으로써, 전역 이미지 재생성의 계산적 병목 현상을 해결하는 효율적인 시각적 롤아웃을 가능하게 합니다. 또한, 요인화된 보상 할당은 교차 모달 간섭으로 인한 훈련 불안정성을 해결하여, 통합 멀티모달 환경에서 견고한 강화 학습을 가능하게 합니다.

저자들은 이 연구가 고정된 추론 패턴을 넘어, 오픈 엔드 환경에서 텍스트와 시각적 출력을 생성, 정제 및 그라운딩할 수 있는 모델로 나아가는 단계라고 위치시킵니다. 현재 프레임워크가 이산 모달리티 공간에서 작동하며(고충실도 연속 합성 제외), 줌인/아웃이나 새로운 시점 합성 같은 전역적 변환에는 아직 최적화되지 않았다는 한계점도 인정하고 있습니다.