🤖 machine learning

Concurrent Image Understanding and Generation: Self-Correcting Coupled Markov Jump Processes

이 논문은 이미지 이해와 생성을 동시에 가능하게 하는 자기 교정 메커니즘을 통해 각 단계 내에서 양식(modality)을 동적으로 결합하는 Self-Correcting Coupled Markov Jump Processes (SC-CMJP)와 훈련이 필요 없는 $\texttt{CO}_\texttt{2}\texttt{Jump}$ 샘플러를 소개하며, 세 가지 새로운 대규모 데이터셋의 공개와 더불어 멀티모달 추론 및 편집 작업에서 최첨단 성능을 달성합니다.

원저자: Minh-Quan Le, Armand Comas, Alexandros Lattas, Stylianos Moschoglou, Pedro Vélez, Amit Raj, Aaron Germuth, Thabo Beeler, Dimitris Samaras, Di Qiu

게시일 2026-07-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Minh-Quan Le, Armand Comas, Alexandros Lattas, Stylianos Moschoglou, Pedro Vélez, Amit Raj, Aaron Germuth, Thabo Beeler, Dimitris Samaras, Di Qiu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 화이트보드 앞에서 강의하는 거장 교사를 보고 있다고 상상해 보십시오. 그들은 단순히 말하면서 그림을 그리는 것이 아니라, 그 두 가지를 정확히 동시에 수행하고 있습니다. 곡선을 스케치할 때 그들의 언어는 그 곡선을 묘사하기 위해 변화하며, 개념을 설명할 때 그들의 손은 그 설명에 맞춰 그림을 조정합니다. 만약 스케치에서 실수를 하면, 그들은 문장을 수정하는 동시에 즉시 그것을 지우고 다시 그립니다. 이것이 인간의 창의성이 작동하는 방식입니다. 이해하는 것과 만드는 것이 별개의 두 단계가 아니라, 하나의 뒤엉킨 루프(loop)로서 존재하기 때문입니다.

오랫동안 인공지능은 이를 모방하려고 노력해 왔지만, 대개 서투르게 수행해 왔습니다. 대부분의 AI 시스템은 엄격한 조립 라인처럼 작동합니다. 먼저 전체 이야기나 계획을 작성한 다음, 그 계획을 바탕으로 그림을 그리려고 시도합니다. 만약 계획에 실수가 있다면 그림도 그 실수를 물려받게 되며, AI는 이미 '완료'된 글을 다시 수정할 수 없기 때문에 계획을 되돌려 고칠 수 없습니다. "Concurrent Image Understanding and Generation(동시적 이미지 이해 및 생성)"이라는 제목의 이 논문은 **마스크 확산 모델(Masked Diffusion Models)**이라 불리는 AI의 특정 영역을 깊이 파고듭니다. 이 모델들을 '그림 맞추기 게임'이라고 생각해 보십시오. AI는 빈 노이즈 캔버스에서 시작하여 토큰 하나하나를 통해 이미지를 천천히 드러냅니다. 이 논문은 다음과 같은 거대한 질문을 던집니다. 만약 AI가 묘사를 쓰는 것과 그림을 그리는 것을 동시에 수행하여, 마치 화이트보드 앞의 교사처럼 서로를 실시간으로 교정할 수 있다면 어떻게 될까?

연구진은 **자기 수정 결합 마르코프 점프 과정(Self-Correcting Coupled Markov Jump Processes, SC-CMJP)**이라는 새로운 프레임워크를 소개합니다. 이를 이해하기 위해, 두 친구가 함께 퍼즐을 풀고 있다고 상상해 보십시오. 기존의 AI 방식에서는 친구 A(텍스트)가 추측을 외치면 친구 B(이미지)가 그것을 그리려고 시도하지만, 그들은 과정이 끝날 때까지 서로의 '최신' 생각을 들을 수 없었습니다. 만약 친구 A가 중간에 실수를 깨달았더라도, 친구 B에게 그 부분을 그리는 것을 멈추라고 말할 수 없었습니다.

이 논문은 그들이 대화하는 새로운 방식을 제안합니다. 그들은 이를 CO2Jump라고 부릅니다. 이는 두 친구가 끊임없이 서로에게 속삭이는 역동적인 춤과 같습니다. 만약 텍스트 분기가 이미지 분기가 보고 있는 것과 맞지 않는 묘사를 확정하기 시작하면, 시스템에는 특별한 '실행 취소(undo)' 버튼이 있습니다. 시스템은 즉시 확정된 토큰을 다시 '마스킹(remask, 지우기)'하고 다시 시도할 수 있습니다. 이것이 바로 '자기 수정(Self-Correcting)' 부분입니다. '결합(Coupled)'이라는 부분은 그들이 단순히 차례를 주고받는 것이 아니라, 서로의 확신도를 측정한다는 의미입니다. 텍스트가 특정 세부 사항에 대해 매우 확신한다면 그것이 이미지를 안내합니다. 반대로 이미지가 매우 확신한다면 그것이 텍스트를 안내합니다. 그들은 매 단계마다 협상합니다.

연구팀은 세 가지 매우 다른 과제를 통해 이를 테스트했습니다. 첫째, AI가 사진을 가져와 텍스트 프롬프트에 따라 변경해야 하는 **이미지 편집(Image Editing)**입니다(예: "이 길에 등산객을 추가해줘"). 또한, 텍est 답안(경로 또는 채워진 셀)과 시각적 그리드가 완벽하게 일치해야 하는 **미로 풀기(Maze Solving)**와 노노그램(Nonograms)(숫자 단서를 바탕으로 격자를 채우는 논리 퍼즐)에 대해서도 테스트했습니다. 이를 위해 그들은 세 개의 거대한 새로운 데이터셋인 JEdit-1M(100만 개의 편집 쌍), JMaze-200K(20만 개의 미로), JNono-200K(20만 개의 노노그램)를 구축했습니다.

결과는 이 "그리면서 말하기" 접근 방식이 기존의 "쓰고 나서 그리기" 방식보다 더 효과적임을 시사합니다. 실험에서 CO2Jump 샘플러는 단순히 더 나은 이미지를 생성할 뿐만 아니라, 그 이미지에 대한 더 나은 텍스트 묘사도 만들어냈습니다. 가장 흥-미로운 발견은 AI가 문제를 해결하기 위해 더 많은 단계를 거칠수록 더 똑똑해졌다는 점입니다. 한계에 부딪히거나 특정 지점에서 혼란을 겪는 다른 방법들과 달리, 이 결합된 시스템은 생각하는 시간이 길어질수록 더 영리해지는 것처럼 보였으며, 텍1스트와 이미지가 단계별로 답을 정교화하도록 서로를 도왔습니다. 이 논문은 AI가 자신의 실수를 스스로 '재마스킹(remask)'하고 실시간으로 자신의 다른 절반(다른 모달리티)의 목소리에 귀를 기울이게 함으로써, 이전에는 부족했던 수준의 조율 능력을 갖추고 복잡한 시각적 퍼즐을 풀고 사진을 편집할 수 있음을 보여줍니다. 이는 AI가 단순히 명령을 따르는 것을 넘어, 통합되고 자기 수정 가능한 루프 안에서 실제로 이해하고 창조하는 단계로 나아가는 발걸음입니다.

기술 요약: 자기 교정형 결합 마르코프 점프 프로세스를 통한 동시적 이미지 이해 및 생성

문제 정의

인간의 인지는 이해와 생성을 긴밀하게 결합된 루프로 통합합니다. 예를 들어, 교사가 화이트보드에 그림을 그릴 때, 말하기와 스케치를 동시에 수행하며 각 양식(modality)이 서로를 재형성합니다. 그러나 현재의 인공 시스템은 일반적으로 이러한 프로세스를 분리하여 처리합니다. 병렬 다중 양식 생성에 이론적으로 적합한 마스크 확산 모델(Masked Diffusion Models, MDMs) 내에서도, 기존 샘플러들은 진정한 동시성을 달j성하지 못합니다. 이들은 양식을 번갈아 가며 디코딩하거나, 단일 단계 내에서 즉각적인 교차 양식 피드백 없이 과거 상태만을 공유하는 병렬 브랜치에서 업데이트할 뿐입니다. 또한, 표준 MDM은 "재마스킹(remasking)" 능력이 부족합니다. 즉, 한 번 커밋된(언마스킹된) 토큰은 수정할 수 없습니다. 이는 텍스트 설명과 이미지 내용이 서로 어긋나거나 그 반대의 경우가 발생했을 때, 샘플링 궤적 동안 스스로를 교정할 메커니즘이 없어 지속적인 교차 양식 모순을 초래합니다.

방법론

저자들은 **자기 교정형 결합 마르코프 점프 프로세스(Self-Correcting Coupled Markov Jump Processes, SC-CMJP)**를 도입합니다. 이 프레임워크는 결합된 텍스트-이미지 생성을 하나의 통합된 확률 과정으로 모델링하며, 여기서 각 양식은 매 디노이징 단계마다 능동적으로 약속(commitment)을 협상합니다.

핵심 프레임워크: SC-CMJP

SC-CMJP는 결합된 생성을 하나의 탄생-사멸(birth-death) 과정으로 재구성하며, 여기서 한 양식의 전이율은 다른 양식의 신뢰도에 대한 범함수(functional)가 됩니다.

결합된 전이율 (Coupled Transition Rates): 한 양식의 언마스킹 스케줄은 다른 양식의 신뢰도에 따라 적응합니다. 구체적으로, 이미지 토큰의 전이율은 단일 순전파(forward pass)에서 추출된 교차 양식 어텐션에 의해 가중치가 부여된 텍스트 양식의 언마스킹 신뢰도에 의존합니다.
재마스킹 점프 (Remasking Jump): 표준 MDM의 비가역성 문제를 해결하기 위해, 이 프레임워크는 "재마스킹" 점프(ReMDM에서 영감을 받음)를 포함합니다. 이를 통해 교차 양식의 증거가 커밋된 토큰과 모순될 경우, 커밋된 토큰이 다시 마스크 상태( $\mathbf{m}$ )로 돌아갈 수 있게 합니다. 이는 프로세스를 일방향 언마스킹에서 오류를 철회할 수 있는 양방향 탄생-사멸 과정으로 변환합니다.

CO2Jump 샘플러

SC-CMJP를 아키텍처 변경이나 보조 평가기 없이 구현하기 위해, 저자들은 CO2Jump(Self-COrrecting COupled Jump)라는 훈련이 필요 없는 단일 패스 샘플러를 제안합니다.

연쇄 법칙 분해를 통한 비대칭 스코어링 (Asymmetric Scoring via Chain-Rule Decomposition): 이 샘플러는 결합된 역후험 분포 $p(z_{text}, z_{image} | z_t)$ 를 인수분해하여 근사합니다. 텍스트 업데이트는 자기 신뢰도에 의존하며, 이미지 업데이트는 최신 텍스트 상태에 조건화됩니다. 두 번째 순전파는 비용이 많이 들기 때문에, CO2Jump는 현재 단계의 은닉 표현과 교차 양식 어텐션( $A_{image \to text}$ )을 사용하여 최신 텍스트 상태를 근사합니다.
엔트로피 기반 게이팅 (Entropy-Based Gating): 동적 게이트 $\lambda$ 는 교차 양식 신호에 대한 신뢰 수준을 결정합니다. $\lambda$ 는 두 양식의 예측 불확실성(Shannon 엔트로피) 비율에서 유도됩니다. 이미지가 혼란스러우면(높은 엔트로피) 텍스트 신호에 따르고, 텍스트가 불확실하면 이미지는 자신의 자기 신념에 의존합니다.
사멸 및 탄생 점프 (Death and Birth Jumps):
- 사멸 (Remasking): 가장 낮은 결합 신뢰도 점수를 가진 토큰은 마스크 상태로 되돌려집니다.
- 탄생 (Unmasking): 가장 높은 점수를 가진 마스크된 토큰은 노이즈 스케줄을 유지하기 위한 재마스킹 할당량을 조절하여 드러납니다.
공유 백분위 순위 (Shared Percentile Rank): 어휘 크기의 차이를 처리하기 위해, 두 양식을 섞기 전에 점수를 각 양식 내의 경험적 백분위 순위로 정규화합니다.

주요 기여

통합 확률 과정: 본 논문은 이미지 이해와 생성을 자기 교정이 내장된 단일 통합 확률 과정(SC-CMJP)으로 모델링하는 첫 번째 접근 방식을 제시합니다.
CO2Jump 샘플러: 교차 양식 어텐션과 엔트로피 게이트 결합을 활용하여 동적으로 모순을 해결하는, 훈련이 필요 없는 단일 패스 방식의 새로운 샘플러입니다.
새로운 코퍼스 및 벤치마크: 저자들은 세 가지 대규모 결합 다중 양식 생성 데이터셋을 큐레이션하여 공개할 예정입니다:
- JEdit-1M: 픽셀 정렬된 씬 그래프(scene graph)와 추론 궤적이 포함된 100만 개의 이미지 편집 쌍.
- JMaze-200K: 알고리즘적 정답이 포함된 20만 개의 미로 풀기 작업.
- JNono-200K: 20만 개의 노노그램(Picross) 퍼즐.
  이들은 분포 내(in-distribution) 및 분포 외(out-of-distribution, OOD) 벤치마크를 모두 포함합니다.
경험적 스케일링: 본 연구는 교차 양식 결합의 이점이 디노이징 궤적을 따라 누적됨을 입증하며, 성능이 단계 수에 따라 단조롭게 증가함을 보여줍니다.

결과

저자들은 이미지 편집 및 시각적 추론 작업에 대해 CO2Jump를 세 가지 베이스라인(표준 MDM, ReMDM, MMaDA-Parallel)과 비교 평가했습니다.

이미지 편집 (JEdit-1M): CO2Jump는 최고의 결합 성능을 달성했습니다. 확장된 ImgEditBench에서, CO2Jump는 강력한 순차적 그라운더(Qwen3-VL-8B)보다 접지된 이해 지표(mAP@0.5:0.95)에서 더 높은 성능을 보였으며, 전체 mAP 0.369를 기록했습니다(순차적 베이스라인은 0.360). 결정적으로, CO2Jump는 함수 호출 횟수(NFE)가 8에서 512로 증가함에 따라 이미지 편집 품질과 이해도가 모두 단조롭게 개선되는 유일한 샘플러였던 반면, 베이스라인들은 정체되거나 퇴보했습니다.
시각적 추론 (JMaze & JNono): CO2Jump는 분포 내 및 OOD 분할 모두에서 가장 높은 결합 정확도를 달了했습니다. 특히, 노노그램의 OOD 그리드 크기에서 CO2Jump는 성능을 유지(정확도 0.175)한 반면, 베이스라인(MDM은 0.050으로 하락)은 크게 떨어졌습니다.
절제 연구 (Ablation Studies): "공유 백분위 순위"를 제거했을 때 편집 충실도가 가장 크게 감소했습니다. "엔트로피 기반 게이팅"을 제거하면 타겟 mAP가 감소하여, 게이트가 후기 단계 샘플링에서 수행하는 역할을 확인했습니다. "자기 교정(재마스킹)"을 제거했을 때 이해도(mAP)가 가장 크게 떨어졌으며, 이는 교차 양식 모순을 철회하는 능력이 결합된 일관성에 필수적임을 입증합니다.

의의 및 주장

본 논문은 CO2Jump가 텍스트와 이미지가 순차적 또는 독립적으로 생성되는 것이 아니라, 두 양식이 함께 답을 공동 저술하는 인간 인지의 "결합된 루프"를 인공 시스템을 위해 성공적으로 구현했다고 주장합니다. 주요 의의는 교차 양식 결합이 궤적을 따라 누적된다는 점을 입증한 데 있습니다. 독립적인 샘플러들이 표류하거나 포화되는 것과 달리, 결합된 프로세스는 시스템이 솔루션을 반복적으로 정교화할 수 있게 합니다. 즉, 텍스트가 편집을 계획하고 이미지가 이를 동일한 디노이징 루프 내에서 실행하도록 합니다. 저자들은 이 프레임워크가 양식에 구애받지 않으며(modality-agnostic), 오디오, 비디오 및 구조화된 출력을 위한 향후 연구의 토대를 제공한다고 주장하지만, 현재 작업은 텍스트와 이미지에 특화되어 구현되었습니다.