⚡ electrical engineering

Ask Twice, Look Twice: Prompt Echoing Resolves the Question-First Paradox in Vision-Language Models

이 논문은 질문을 이미지 앞에 배치하는 것이 직관적으로는 지각을 유도하지만 정답 생성에는 실패하는 시각-언어 모델의 '질문 우선 역설(question-first paradox)'을 식별하고, 인식을 유도하는 동시에 정답 접근성을 보장하기 위해 이미지 양측에 질문을 다시 기술하는 학습 불필요한 '프롬프트 에코잉(prompt echoing)' 전략을 도입함으로써 여러 벤치마크에서 성능을 크게 향상시켜 이를 해결한다.

원저자: Rakshanda Hassan Abhinandan, John Galeotti, Deva Ramanan, Gautam Rajendrakumar Gare

게시일 2026-07-20

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Rakshanda Hassan Abhinandan, John Galeotti, Deva Ramanan, Gautam Rajendrakumar Gare

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 세상을 보는 법을 가르치고 있다고 상상해 보세요. 이 로봇은 시각-언어 모델(VLM)이라는 특별한 종류의 컴퓨터 두뇌입니다. 이것은 사진을 보고 질문에 답할 수 있는 매우 똑똑한 학생과 같지만, 모든 것을 하나의 긴 텍스트 줄로 읽습니다. 로봇에게 사진은 단 하나의 이미지가 아닙니다. 사진에 담긴 내용을 설명하는 아주 작은 퍼즐 조각들(토큰)의 긴 목록입니다.

과학자들이 던져온 큰 질문은 이것입니다. "이 로봇에게 말을 걸 때, 사진을 보여주기 '전에' 무엇을 찾아야 할지 알려줘야 할까요, 아니면 '후에' 알려줘야 할까요?" 인간에게 "빨간 자동차를 찾아봐"라고 말하면, 인간은 거리의 모습을 보기도 전에 이미 어디에 시선을 집중해야 할지 알게 됩니다. 당신은 로봇도 똑같이 작동할 것이라고 기대할 것입니다. 하지만 여기 반전이 있습니다. 연구자들이 가장 똑똑한 로봇들을 대상으로 실험했을 때, 질문을 '먼저' 들은 로봇들이 질문을 '나중에' 들은 로봇들보다 정답을 더 자주 틀렸습니다. 이것은 마치 탐정에게 "사라진 쿠키를 찾아라"라고 말한 뒤 주방 사진을 건네주었는데, 엉뚱한 곳을 찾느라 쿠키를 놓쳐버린 상황과 같습니다. 이 혼란스러운 상황을 과학자들은 "역설(paradвox)"이라고 부릅니다.

"두 번 묻고, 두 번 보기(Ask Twice, Look Twice)"라는 제목의 이 논문은 왜 로봇이 실패하고 있는지, 그리고 어떻게 새로운 것을 가르치지 않고도 이를 해결할 수 있는지 그 미스터리를 파헤칩니다. 연구진은 로봇이 실제로 질문을 듣고는 있지만, 긴 사진 조각들의 목록에 압도되어 답변을 해야 할 때쯤이면 질문을 잊어버린다는 사실을 발견했습니다. 이것은 마치 첫 페이지에서 줄거리를 알려주는 긴 책을 읽는데, 100페이지에 도달했을 때쯤이면 시작 부분을 잊어버리는 것과 같습니다. 해결책은 놀라울 정도로 간단합니다. 질문을 두 번 하는 것입니다. 사진 전후로 질문을 반복함으로써, 로간은 두 가지 장점을 모두 얻게 됩니다. 즉, 무엇을 찾아야 할지 알게 되고, 말을 해야 할 때쯤에도 질문을 기억하게 됩니다.

망각하는 로봇의 미스터리

연구진은 이 "질문 우선(Question-First)" 아이디어를 다섯 가지 서로 다른 똑똑한 로봇(VLM)을 대상으로 세 가지 테스트를 통해 시험했습니다. 사진과 질문은 동일하게 유지하되, 순서만 바꾸었습니다. 결과는 충격적이었습니다. NaturalBench라는 테스트에서, 질문을 먼저 들은 로봇은 질문을 나중에 들은 로봇보다 8.1점이 낮았습니다. 또 다른 까다로운 테스트인 Winoground에서는 그 격차가 9.5점으로 더 벌어졌습니다. LLaVA 로봇의 경우처럼, 질문을 먼저 하면 로봇이 너무 혼란스러워져서 모든 것에 "예"라고 대답하며, 가장 어려운 부분에서 완벽한 점수 0점을 받기도 했습니다.

연구팀은 알고 싶었습니다. 로봇이 처음에 질문을 무시하는 것일까요? 아니면 질문을 듣기는 하지만 그 후에 잊어버리는 것일까요?

탐정 작업: 사고의 두 단계

사건을 해결하기 위해 연구진은 로봇이 생각하는 동안 그 내부를 들여다볼 수 있는 특별한 도구들을 사용했습니다. 그들은 두 가지 특정 순간을 관찰했습니다:

"보는" 단계: 질문이 로봇이 사진을 보는 방식을 바꾸는가?
"답변하는" 단계: 로봇이 답변을 결정할 때 실제로 질문을 사용하는가?

그들은 흥미로운 사실을 발견했습니다. "질문 우선" 방식의 로봇은 첫 번째 단계를 완벽하게 수행하고 있었습니다. 질문이 사진보다 먼저 왔을 때, 로봇의 뇌는 실제로 초점을 이동시켰습니다. 만약 "물이 있습니까?"라고 물으면, 로봇은 이미지 패치에서 단순히 "옷"이나 "배경" 대신 "물방울이 떨어지는" 모습이나 "물놀이하는" 모습을 보기 시작했습니다. 올바른 곳을 보고 있었던 것입니다!

하지만 두 번째 부분이 잘못되었습니다. 사진은 수백 개의 작은 조각들로 구성되어 있기 때문에, 로봇은 답변을 내놓기 전까지 긴 이미지 토큰 목록을 읽어야 했습니다. 답변을 하기 위해 끝에 도달했을 때쯤이면, 원래의 질문은 기억 속에서 너무 멀어져 버려 거의 주의를 기울이지 못하게 되었습니다. 대신, 로봇은 사진에서 보이는 것에 기반해 추측해 버렸고, 종종 오답을 냈습니다. 이는 마치 공부는 제대로 했지만, 질문이 다른 페이지에 적혀 있어서 시험지를 보고 질문을 잊어버린 학생과 같았습니다.

"메아리(Echoing)" 해결책

연구진은 로봇에게 질문이 두 곳에 동시에 필요하다는 것을 깨달았습니다. 그들은 **질문 메아리(Question Echoing)**라는 기술을 고안했습니다. 질문을 한 번만 하는 대신, 로봇에게 이렇게 말하는 것입니다: "여기 질문이 있습니다. 이제 사진을 보세요. 그리고 여기 질문이 다시 있습니다."

이 간단한 변화는 마법처럼 작용했습니다. 첫 번째 질문의 복사본은 로봇에게 정확히 어디를 봐야 할지 알려주었고( "보는" 단계), 답변 바로 옆에 위치한 두 번째 질문은 로봇에게 무엇을 말해야 하는지 상기시켜 주었습니다( "답변하는" 단계).

그들은 또한 사진을 두 번 보여주는 **이미지 메아리(Image Echoing)**라는 초강력 버전도 시도했습니다. 첫 번째 질문 전과 두 번째 질문 후에 사진을 보여주는 방식입니다. 이는 로봇이 사진을 단절된 조각들의 연속이 아닌 하나의 커다란 장면으로 보도록 도와주었습니다.

결과

이 해결책은 믿을 수 없을 정도로 효과적이었습니다. 질문을 반복하는 것만으로(그리고 때로는 사진을 반복하는 것만으로) 로봇의 점수는 급등했습니다. 가장 어려운 테스트인 Winoground에서, "메아리" 방식은 "질문 우선" 방식에 비해 점수를 최대 19점까지 높였습니다. 심지어 이전까지 가장 좋은 방법이라고 여겨졌던 표준적인 "질문 마지막(Question-Last)" 방식보다도 높은 성적을 거두었습니다.

가장 좋은 점은 무엇일까요? 로봇을 재학습시키거나 코드를 수정할 필요가 없었다는 것입니다. 그들은 단지 질문을 던지는 방식만 바꿨을 뿐입니다. 이것은 전화번호를 기억하고 싶을 때, 소리 내어 두 번 반복하는 것이 기억을 오래 유지하는 데 도움이 된다는 사실을 깨닫는 것과 같습니다.

이것이 중요한 이유

이 발견은 우리가 로봇에게 어떻게 말하느냐가 로봇이 얼마나 똑똑한가만큼 중요하다는 것을 보여주기에 매우 중요합니다. 오랫동안 사람들은 단어의 순서가 크게 중요하지 않거나, "질문 우선" 방식이 가장 논리적인 방식이라고 생각해 왔습니다. 이 논문은 로봇에게는 논리가 항상 옳지는 않다는 것을 증명합니다.

연구진은 또한 이것이 특정 로봇의 결함이 아니라, 작은 모델부터 크고 똑똑한 모델에 이르기까지 다양한 유형의 모델에서 발생하는 현상임을 발견했습니다. 그들은 이 "두 번 묻기" 아이디어가 인간이 50년 동안 사용해 온 교육 기법, 즉 학생들이 이해를 돕기 위해 읽기 지문 전후로 질문을 던지는 방식과 유사하다는 점도 주목했습니다. 인간 학생이든 로봇이든, 때로는 중요한 것을 제대로 하기 위해 두 번 들어야 할 때가 있습니다.

결국, 이 논문은 로봇과 대화하는 미래가 단순히 로봇을 더 똑똑하게 만드는 것이 아니라, 올바른 방식으로 질문하는 것에 달려 있음을 시사합니다. 그리고 때때로, 그 올바른 방식은 두 번 묻는 것입니다.

기술 요약: 두 번 묻고, 두 번 보기 (Ask Twice, Look Twice)

1. 문제 정의: 질문 우선의 역설 (The Question-First Paradox)

시각-언어 모델(VLM)은 시스템 메시지, 이미지 토큰, 그리고 과업(질문) 토큰이 혼합된 단일 인터리브드(interleaved) 토큰 스트림으로 입력을 처리한다. 여기서 중요한 설계 선택지는 이 구성 요소들의 순서이다. 즉, 질문이 이미지보다 앞서야 하는가(Question-First, STI), 아니면 이미지 뒤에 와야 하는가(Question-Last, SIT)?

직관적으로는 질문을 먼저 배치하는 것이 모델이 이미지를 인코딩하기 전에 관련 개념을 향해 시각적 지각을 '조정(steer)'할 수 있게 하여 성능을 향상시킬 것이라고 생각하기 쉽다. 그러나 저자들은 다섯 가지 오픈 VLM 제품군(Qwen3-VL, Qwen2.5-VL, InternVL3, LLaVA-1.5, 그리고 부분적으로 Gemma-3)과 세 가지 벤치마크(NaturalBench, POPE, Winoground) 전반에서 질문 우선 프롬프팅이 질문 후순위 프롬프팅보다 일관되게 성능이 떨어진다는 **'질문 우선의 역설'**을 관찰했다. 일부 사례(예: NaturalBench에서의 LLaVA-1.5)에서는 질문 우선 순서가 모델을 지속적인 오답으로 붕괴시켜, 정확도 격차를 최대 17.5 그룹 정확도 포인트까지 벌리는 결과를 초j래했다.

2. 방법론: 메커니즘적 진단 (Mechanistic Diagnosis)

저자들은 단순한 상관관계 관찰을 넘어 특정 계산 단계가 책임을 지는 부분을 식별하기 위해, 해석 가능성 도구와 인과적 개입(causal interventions)을 결합하여 실패 메커니즘을 진단한다.

2.1 프로브 (Probes)

지각 프로브 (Logit Lens): 저자들은 이미지 패치의 중간 은닉 상태(hidden states)를 디코딩하기 위해 로짓 렌즈(logit lens)를 사용한다. 이들은 질문이 이미지보다 앞설 때 시각적 표현이 질문과 관련된 개념으로 얼마나 이동하는지 측정한다.
읽기 출력 프로브 (Attention Tracking): 최종 답변 토큰의 어텐션 가중치를 레이어 전체에 걸쳐 추적하여, 디코더가 질문과 이미지 중 어디에 더 주의를 기울이는지 결정한다.
발현 곡선 (Emergence Curves): 모델이 더 깊은 레이어를 처리함에 따라 정답 토큰의 확률이 어떻게 나타나는지 모니터링한다.

2.2 인과적 개입 (Attention Knockout)

인과성을 확립하기 위해 저자들은 '어텐션 녹아웃(attention knockout)'을 수행한다. 순전파(forward pass) 과정 중에, 모든 텍text 레이어에서 답변 토큰으로부터 특정 구간(질문, 이미지, 또는 무작위 텍스트)으로 가는 어텐션 엣지에 소프트맥스 전 $-\infty$ 편향을 추가한다. 이는 직접적인 읽기 경로를 차단하면서도, 릴레이 토큰을 통한 간접적인 정보 흐름을 포함한 나머지 계산은 온전히 유지한다.

2.3 해상도 분석 (Resolution Analysis)

본 연구는 "접근(access)" 가설을 검증하기 위해 격차가 이미지 토큰의 수(따라서 질문과 답변 사이의 거리)에 따라 확장되는지 분석한다.

3. 주요 결과 및 메커니즘

진단 결과, 프롬프트 순서가 혼동하는 두 가지 별개의 메커니즘인 **'시각적 조정(Visual Steering)'**과 '디코더 접근(Decoder Access)' 사이의 분리가 드러났다.

조정은 실재하지만 낭비된다: 지각 프로브는 질문 우선 프롬프팅이 시각적 지각을 성공적으로 조정한다는 것을 확인해 준다. 질문이 이미지보다 앞설 때 이미지 패치들은 질문과 관련된 개념(예: '옷' 대신 '물')으로 디코딩된다. 이러한 조정은 유익하며 올바른 방향이다.
접근이 실패의 지점이다: 읽기 출력 프로브는 질문 우선 순서에서 답변 토큰이 질문에 거의 주의를 기울이지 않는다는 것을 보여준다. 질문이 수백 개의 이미지 토큰 뒤에 고립되어 있기 때문에, 디코더는 질문 표현이 결정에 영향을 미치기 전에 이미지에 고착된(종종 틀린) 답변을 조기에 확정해 버린다.
인과적 확인: 어텐션 녹아웃은 질문 후순위(SIT) 방식에서 답변 토큰이 질문에 인과적으로 의존함을 확인시켜 준다(엣지가 끊어지면 정확도가 하락함). 반면 질문 우선(STI) 방식에서는 답변 토큰이 이미지에 의존하며(이미지 엣지를 끊으면 정확도가 하락함), 질문 엣지는 무력하다.
거리 스케일링: 정확도 격차는 이미지 토큰의 수가 증가함에 따라 넓어지며, 이는 질문과 답변 토큰 사이의 물리적 거리가 실패의 주요 동인임을 확인해 준다.

4. 제안된 해결책: 질문 에코잉 (Prompt Echoing)

진단을 바탕으로 저자들은 **'질문 에코잉(Question Echoing, STIT)'**이라 불리는 학습이 필요 없는 해결책을 제안한다. 이는 이미지 전후에 질문을 다시 한 번 언급하는 것이다:

이미지 전 질문: 시각적 인코딩을 조정하기 위한 하향식(top-down) 신호를 제공한다(질문 우선의 이점을 보존).
이미지 후 질문: 질문과 답변 토큰 사이의 인접성을 회복하여, 디코더가 질문을 읽어낼 수 있도록 한다(질문 후순위의 이점을 보존).

이미지 에코잉 (SITIT): 반복된 질문과 함께 이미지를 다시 제시하는 추가 변형이다. 인과적 디코더(Qwen3-VL 등)에서 단일 이미지 토큰은 후속 토큰에 주의를 기울일 수 없다. 이미지를 반복함으로써, 두 번째 복사본의 패치들이 첫 번째 복사본 전체에 주의를 기울일 수 있게 되어, 인과적 마스크(causal mask)가 버려버리는 양방향 "전체 이미지" 뷰를 효과적으로 회복한다.

5. 결과

제안된 에코잉 방법들은 미세 조정이나 구조적 변경 없이도 성능 격차를 해소하며, 종종 단일 패스 순서의 성능을 능가한다.

성능 향상: 까다로운 Winoground 벤치마크에서 질문 에코잉(STIT)은 질문 우선 순서 대비 그룹 정확도를 최대 19포인트 향상시킨다. 이미지 에코잉(SITIT)은 성능을 더욱 개선하여 표준적인 질문 후순위 베이스라인을 능가한다.
일반화: 이러한 이점은 테스트된 모든 모델(Qwen3-VL, Qwen2.5-VL, InternVL3, LLaVA-1.5)에서 관찰되었다. Gemma-3-27B는 역설이 나타나지 않지만(STI $\approx$ SIT), 에코잉이 여전히 미미한 이득을 제공한다는 점은 이 메커니즘이 일반적임을 시사한다.
개방형 생성: 에코잉의 이점은 개방형 VQA(VQAv2)로도 확장되며, 여기서 '위치 사다리(position ladder)'(STI < SIT < STIT < SITIT)가 소프트 정확도(soft-accuracy) 점수에서 성립한다.
절제 실험(Ablations): 저자들은 토큰 수의 증가나 답변 전 연산량 증가와 같은 대안적 설명을 배제했다. 결정적인 요인은 답변에 인접한 완전한 질문의 존재 여부이다. 또한, 반복되는 이미지의 순서가 중요하다. 이미지를 훈련 분포 순서(이미지 우선)로 반복하는 것이 질문 우선 순서로 반복하는 것보다 더 나은 결과를 낸다.

6. 의의 및 주장

본 논문은 다중 모달 프롬프팅의 근본적인 긴장 관계, 즉 **'모델이 보는 것을 조정하는 것'**과 '질문받은 내용을 유지하는 것' 사이의 트레이드오프를 해결한다고 주장한다.

과학적 기여: 이 연구는 시각적 조정과 답변 읽기가 서로 다른 위치 선호도를 가진 분리된 메커니즘임을 입증한다. 이는 질문 우선 방식이 왜 실패하는지에 대한 메커니즘적 설명을 제공함으로써, 프롬프트 순서에 대한 기존의 '민간 신앙(folklore)'에 도전하고, 이를 휴리스틱에서 인과적이고 구조적인 제한 사항에 대한 이해로 전환시킨다.
실무적 영향: 저자들은 성능을 크게 향 향상시키는 간단하고 학습이 필요 없는 프롬프트 엔지니어링 기법(에코잉)을 제공한다.
광범위한 맥락: 이 논문은 질문을 텍스트 구절 전후에 반복하는 것이 이해를 돕는다는 교육 심리학의 50년 된 '부가 질문(adjunct questions)' 연구 결과와 평행을 이룬다. 이는 역할 분담(주의를 위한 사전 질문, 통합을 위한 사후 질문)이 특정 VLM 아키텍처의 부산물이 아니라, 순차적 이해의 일반적인 속성임을 시사한다.

저자들은 프롬프트 순서가 단순한 휴리스틱이 아니라, 측정 가능하고 메커니즘에 근거한 과학으로 다뤄져야 하며, 에코잉이 조정과 읽기 메커니즘을 동시에 수행함으로써 이 역설을 해결한다고 결론짓는다.