🤖 AI

Analysis-by-Proxy: Localization Signals in VLMs Operating as Condition Encoders

이 논문은 이미지 편집을 위한 조건 인코더로 사용되는 시각-언어 모델이 단 한 번의 순전파 과정에서 어떻게 중요한 국소화 신호를 전달하는 데 실패하는지를 밝히는 "Analysis-by-Proxy" 프레임워크를 소개하며, 이는 이러한 공간적 표현들이 현재의 파이프라인에서 사용되는 사전 정의된 조건화 지점에 도달하지 못한 채 중간 레이어에 숨겨져 있기 때문이다.

원저자: Yoav Baron, Sara Dorfman, Roni Paiss, Daniel Cohen-Or, Or Patashnik

게시일 2026-07-08

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yoav Baron, Sara Dorfman, Roni Paiss, Daniel Cohen-Or, Or Patashnik

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 문제: "똑똑한" 모델 vs "서툰" 편집자

당신에게 아주 유능하고 교육을 잘 받은 건축가(시각-언어 모델, 즉 VLM)가 있다고 상상해 보세요. 이 건축가는 사진과 *"해바라기 맨 꼭대기에 있는 벌을 제거해 줘"*라는 글귀를 보고, 그 벌이 정확히 어디에 있는지 즉각적으로 알아내는 데 매우 뛰어납니다. 만약 당신이 건축가에게 그 위치를 가리켜 보라고 한다면, 그는 89%의 확률로 정답을 맞힐 것입니다.

하지만, 이 건축가를 건설 현장의 현장 소장(이미지 편집 파이프라인)으로 고용하면 문제가 발생합니다. 소장은 작업 팀원들에게 *"벌을 고쳐"*라고 지시하지만, 팀원들은 엉뚱한 꽃을 칠하거나, 해바라기 전체를 없애버리거나, 심지어 없던 벌을 만들어내기도 합니다. 이 팀원들이 정답을 맞히는 확률은 고작 57%에 불과합니다.

미스터리: 왜 건축가는 정답을 완벽하게 알고 있는데, 건설 팀은 왜 이렇게 형편없이 실패하는 걸까요?

논문의 가설: "일방통행" vs "대화"

저자들은 문제가 건축가가 벌의 위치를 찾는 능력이 부족해서가 아니라는 것을 발견했습니다. 문제는 건축가에게 일을 시키는 방식에 있었습니다.

건축가의 초능력: 건축가는 대화를 나누도록 훈련받았습니다. 질문을 던지면, 건축가는 생각하고, 답하고, 다시 생각하고, 답변을 다듬습니다. 이러한 "주고받는 과정"(자기회귀적 생성이라고 불림)은 건축가가 기억 속 깊은 곳에서 벌의 정확한 위치를 찾아내도록 돕습니다.
건설 작업: 이미지 편집 작업에서 건축가는 침묵 속에서 일하도록 강요받습니다. 사진과 지시 사항을 받으면, 즉시 단 하나의 명령 세트만을 내뱉어야 합니다. 건축가는 "생각을 밖으로 내뱉거나" 대화를 생성할 수 없습니다.

논문은 건축가가 이 "침묵의 일회성(one-shot)" 모드로 일하도록 강제될 때, 벌이 어디에 있는지에 대한 구체적인 세부 정보가 뇌 속 깊은 곳에 묻혀버린다고 주장합니다. 건축가는 실제로 답을 알고 있음에도 불구하고, 그가 보내는 최종 지시 사항은 너무 모호해집니다.

해결책: "스파이" (대리 분석, Analysis-by-Proxy)

건축가가 이 침묵 모드에서는 우리에게 직접 말을 하지 않기 때문에, 연구진은 스파이, 즉 **프록시(Proxy)**를 발명했습니다.

설정: 건축가에게 긴 이야기를 쓰라고 요구하는 대신(이 모드에서는 그것이 불가능하므로), 연구진은 건축가의 뇌 속에 작고 아주 똑똑한 탐정(프록시)을 집어넣었습니다.
임무: 이 탐정의 유일한 임무는 건축가의 내부 생각(신경망의 은닉층)을 들여다보고 벌의 좌표를 추측하는 것입니다.
발견: 탐정은 "벌의 위치" 정보가 건축가의 최종 생각(마지막 층)에는 없다는 것을 발견했습니다. 그 정보는 마치 교실에서 친구들 사이에 몰래 전달되는 쪽지처럼, **중간 층(middle layers)**에 숨겨져 있었습니다.
- 비유: 건축가를 하나의 도서관이라고 상상해 보세요. 마지막 층은 안내 데스크에 있는 "요약본 책"과 같습니다. 너무 일반적이죠. 중간 층은 상세한 지도가 보관된 구체적인 서가들입니다. 건설 팀은 요약본 책만 읽었지만, 실제 지도는 15번 서가에 있었던 것입니다.

"역동적인" 반전: 항상 15번 서가는 아니다

연구진은 훨씬 더 흥고한 사실을 발견했습니다. "비밀 쪽지"의 위치는 질문에 따라 변한다는 것입니다.

만약 해바라기 위의 벌에 대해 묻는다면, 지도는 15번 서가에 있습니다.
만약 다른 꽃 위의 벌에 대해 묻는다면, 지도는 18번 서가에 있을 수도 있습니다.

표준적인 편집 도구들은 질문이 무엇이든 상관없이 항상 20번 서가만 확인하는 사서와 같았습니다. 그것이 그들이 계속 실패했던 이유입니다. "비밀"은 특정 이미지와 텍스트에 따라 움직입니다.

어떻게 해결했나

연구진은 자신들의 스파이(프록시)를 사용하여 중간 층에서 비밀 쪽지를 찾아내고, 좌표를 읽은 다음, 건설 팀에게 넘겨주기 전에 사진 위에 직접 상자(box)를 그려 넣었습니다.

결과: 건설 팀이 스파이가 그려 놓은 상자를 보자, 그들은 더 이상 추측하지 않았습니다. 그들은 정확히 어디에서 작업해야 할지 알게 되었습니다. 편집은 정확해졌고, 엉뚱한 꽃을 칠하는 일도 멈췄습니다.

핵심 요약

이 논문은 인공지능 모델이 무언가가 어디에 있는지 알고 있다고 해서, 그 모델을 사용하는 도구들이 그것을 볼 수 있다는 뜻은 아니라는 점을 가르쳐 줍니다.

과거의 방식: 똑똑한 모델에게 최종 요약을 요청하고 그것이 충분히 상세하기를 바란다. (대개 그렇지 못하다.)
새로운 방식: 가벼운 "스파이"를 사용하여 모델의 중간 층을 들여다보고, 그곳에 숨겨진 구체적인 세부 정보를 찾아내어 편집 도구에 직접 전달한다.

이렇게 함으로써, 연구진은 "서툰" 편집 실패가 AI가 멍청해서가 아니라, 편집 파이프라인이 답을 엉뚱한 곳에서 찾고 있었기 때문이라는 것을 증명했습니다.

기술 요약: Analysis-by-Proxy: 조건 인코더로 작동하는 VLM 내의 로컬라이제이션 신호 분석

문제 정의

시각-언어 모델(VLM)은 고도화된 멀티모달 추론 능력을 바탕으로 확산 기반 이미지 편집 모델의 컨디셔닝 백본으로서 표준이 되었습니다. 그러나 중대한 성능 격차가 존재합니다. VLM이 텍스트를 자기회귀적(autoregressively)으로 생성할 수 있을 때는 강력한 로컬라이제이션(localization) 능력을 보여주는 반면, VLM을 **조건 인코더(condition encoder)**로 사용하는 이미지 편집 파이프라인에서는 복잡한 다중 개체 장면에서 정확하게 편집 부위를 찾아내는 데 자주 실패합니다.

현재의 편집 파이프라인은 일반적으로 VLM을 비생성적 인코더로 취급하며, 단일 순전파(single forward pass) 과정에서 입력을 처리하고 미리 정의된, 입력 독립적인 레이어의 부분 집합(주로 마지막 레이어)에서 컨디셔닝 신호를 추출합니다. 저자들은 이러한 운영 모드가 VLM의 공간적 이해를 완전히 드러내는 것을 제한한다고 가설을 세웠는데, 이 이해는 자기회귀적 생성에 최적화되어 있기 때문입니다. 결과적으로, 중요한 로컬라이제이션 신호가 중간 표현(intermediate representations) 내에 숨겨져 있거나, 컨디셔닝을 위해 선택된 레이어로 제대로 전파되지 못하여, 최종 편집된 이미지에서 위치 오류, 환각(hallucination), 또는 잘못된 속성 적용을 초래할 수 있습니다.

방법론: Analysis-by-Proxy

단일 패스 제약 조건 하에서의 VLM 내부 메커니즘을 조사하고 숨겨진 공간 신호를 복구하기 위해, 저자들은 자기회귀적 텍스트 생성에 의존하지 않고 VLM 표현을 탐사하도록 설계된 프레임워크인 Analysis-by-Proxy를 도입합니다.

1. 프록시 모델 (The Proxy Model)

이 프레임워크는 다운스트림 확산 트랜스포머(DiT)의 프록시로서 가볍고 해석 가능한 Q-Former를 사용합니다. 복잡한 생성 목적 함수를 가진 DiT와 달리, Q-Former는 VLM의 은닉 상태(hidden states)로부터 타겟 객체의 바운딩 박스 좌표 $(x_1, y_1, x_2, y_2)$ 를 직접 예측하는 다루기 쉬운 보조 작업(auxiliary task)을 통해 학습됩니다.

구조: Q-Former는 VLM 은닉 상태 $\{H^{(l)}\}$ 의 부분 집합에 교차 주의(cross-attend)하고 자기 주의(self-attend)하는 학습 가능한 쿼리(learnable queries)를 활용합니다.
학습 목적 함수: 프록시는 바운딩 박스를 예측하기 위해 Generalized Intersection over Union (GIoU)과 L1 손실(loss)의 조합을 사용하여 최적화됩니다.
정답(Ground Truth): 정답 바운딩 박스는 VLM의 고유한 자기회귀 모드로 프롬프팅하여 얻으며, 이를 통해 프록시가 VLM이 본질적으로 보유한 공간 정보를 디코딩하는 법을 학습하도록 보장합니다.

2. 신호 분포 조사 (Investigating Signal Distribution)

이 프레임워크를 사용하여 저자들은 VLM 내부에 로컬라이제이션 정보가 어디에 존재하는지에 대한 세밀한 분석을 수행합니다.

레이어별 분석 (Layer-wise Analysis): 특정 레이어의 은닉 상태에 대해 독립적인 프록시를 학습함으로써, 어떤 레이어가 가장 디코딩 가능한 공간 신호를 포함하고 있는지 결정합니다.
어텐션 분해 (Attention Decomposition): 저자들은 Q-Former 쿼리의 어텐션 가중치를 분석하여 "결정적인(decisive)" 어텐션 헤드를 식별합니다. 이 헤드들은 동적 라우터 역할을 하여, 입력 프롬프트에 따라 특정 VLM 레이어와 특정 토큰에 어텐션 질량을 집중시킵니다.
토큰 수준 분석 (Token-Level Analysis): 식별된 지배적인 레이어 내에서 저자들은 어떤 토큰이 공간 신호를 운반하는지 조사하며, 신호가 타겟 편집을 정의하는 의미론적으로 중요한 명사와 형용사에 희소하게 인코딩되어 있음을 발견합니다.

3. 신호 복구 및 통합 (Recovering and Integrating Signals)

이러한 숨겨진 신호가 편집을 개선할 수 있는지 검증하기 위해, 저자들은 2단계 추론 파이프라인을 제안합니다.

신호 추출: 단일 VLM 순전파를 통해 중간 은닉 상태를 추출하며, 훈련된 Q-Former는 이를 사용하여 타겟 바운딩 박스를 예측합니다.
컨디셔닝: 예측된 바운딩 박스는 소스 이미지 위에 시각적으로 오버레이됩니다. 이 이미지(박스가 포함된)는 VAE를 통해 DiT의 잠재 공간(latent space)으로 인코딩됩니다.
편집: DiT는 원래의 텍스트 지시문과 명시적인 공간 마커(박스) 모두에 의해 컨디셔닝되어, 편집 부위를 정밀하게 로컬라이즈하도록 유도됩니다.

주요 기여 (Key Contributions)

로컬라이제이션 격차 식별: 본 논문은 VLM이 단일 패스 컨디션 인코더로 사용될 때의 로컬라이제이션 정확도가 자기회귀 능력에 비해 31.5% 성능 저하가 발생함을 실증적으로 보여줍니다 (선별된 다중 개체 데이터셋에서 89.0% 대 57.5%).
Analysis-by-Proxy 프레임워크: 비생성적 설정에서 VLM을 분석하기 위한 새로운 방법을 제시합니다. 이는 공간 지식이 사라진 것이 아니라, 최종 레이어에서 **희석(diluted)**되고 중간 레이어 및 특정 토큰에 **동적으로 분포(dynamically distributed)**되어 있음을 밝혀냅니다.
신호 희소성 발견: 연구는 로컬라이제이션 신호가 매우 집중되어 있음을 밝혀냈습니다. 신호는 중간 레이어(특히 Qwen2.5-VL 백본의 15~24번 레이어)에서 정점을 찍으며, 균일하게 분포되는 대신 몇 개의 의미론적으로 결정적인 토큰 내에 거의 독점적으로 인코딩됩니다.
실용적 복구 메커니즘: 이러한 중간 신호를 명시적인 공간 바운딩 박스로 증류(distilling)하는 것이 기존의 편집 파이프라인의 로컬라이제이션 성능을 크게 향상시켜, 잘못된 객체를 수정하거나 과도하게 제거하는 등의 일반적인 실패 모드를 해결함을 입증합니다.

결과 (Results)

정량적 평가: 의미론적 편집 성공도를 평가하기 위해 Gemini 2.5 Pro를 통한 시각 질의응답(VQA) 메트릭을 사용하고, 배경 보존을 측정하기 위해 LPIPS를 사용하여, 제안된 방법이 최첨단 베이스라인(FLUX.2, FIBO-Edit, Qwen-Image-Edit 포함) 중 가장 높은 평균 VQA 점수를 달ável 했음을 보여줍니다.
베이스라인 비교: 제안된 방법은 표준 Qwen-Image-Edit 파이프라인 및 다른 컨디셔닝 전략(예: 레이어 간 노름 평균화)보다 우수한 성능을 보였습니다. 특히, 자기회귀적 "Full Description" 베이스라인이 좋은 성능을 보였는데, 이는 순차적 디코딩이 단일 패스 모드에서는 잠들어 있는 공간적 단서를 표면화하는 데 도움이 된다는 가설을 뒷받back합니다.
정성적 개선: 시각적 결과는 프록시 가이드 접근 방식이 로컬라이제이션 오류를 성공적으로 수정하여, 복잡한 장면에서도 의도한 타겟 객체에만 엄격하게 편집이 적용되도록 함을 보여줍니다. 반면 베이스라인 방법들은 유사한 개체들을 구분하는 데 자주 실패했습니다.

의의 및 주장 (Significance and Claims)

본 논문은 텍스트 가이드 이미지 편집을 위한 컨디셔닝 아키텍처를 이해하고 설계하기 위한 원칙적인 기초를 제공한다고 주장합니다. 표준 추출 전략(최종 레이어나 고정된 레이어 구성에 의존하는 방식)이 공간적 작업에 근본적으로 최적이 아님을 밝힘으로써, 이 연구는 컨디셔닝 모델로부터 정보를 추출하는 방식에 대한 변화를 촉구합니다.

저자들은 자신들의 연구 결과가 단일 패스 환경에서의 VLM 내부 메커니즘에 대한 더 깊은 이해를 확립한다고 주장합니다. 이들은 향후 컨디셔닝 설계가 고정된 레이어 추출에서 벗어나, 주어진 작업에 대해 가장 정보가 많은 표현(레이어 및 토큰)을 동적으로 선택하는 **입력 의존적 전략(input-dependent strategies)**으로 이동해야 한다고 제안합니다. 이러한 접근 방식은 단일 패스 추론의 효율성과 VLM에 내재된 풍부한 공간 추론 능력 사이의 균형을 맞추는 것을 목표로 하며, 궁극적으로 더 정밀하고 신뢰할 수 있는 이미지 편집 도구를 가능하게 합니다.