VisualScratchpad: Inference-time Visual Concepts Analysis in Vision Language Models

이 논문은 희소 오토인코더와 텍스트 - 이미지 어텐션을 활용하여 비전 언어 모델의 추론 과정에서 시각적 개념을 분석하고, 교차 모달 정합 부족이나 오해의 소지가 있는 시각적 개념 등 세 가지 새로운 실패 모드를 규명하는 대화형 인터페이스 'VisualScratchpad'를 제안합니다.

핵심

🎨 "시각적 스케치패드 (VisualScratchpad)": AI 가 그림을 볼 때 머릿속에서 무슨 생각을 하는지 들여다보기

안녕하세요! 오늘 소개해 드릴 논문은 ICLR 2026 워크샵에 발표된 **'시각적 스케치패드 (VisualScratchpad)'**에 대한 이야기입니다.

이 논문은 아주 복잡한 인공지능 (AI) 이 그림을 보고 답변할 때, 왜 틀린 답을 내놓는지 그 '머릿속 과정'을 직접 들여다보고 고쳐주는 도구를 만들었습니다.

이걸 이해하기 쉽게 요리사와 레시피에 비유해서 설명해 드릴게요.

---

1. 문제: "요리사는 왜 재료를 잘못 썼을까?"

우리가 AI(비전 - 언어 모델) 에게 "이 컵은 손 위에 있나요, 테이블 위에 있나요?"라고 물으면, AI 는 그림을 보고 답을 합니다. 그런데 가끔 AI 는 틀린 답을 내놓습니다.

• 기존의 어려움: AI 가 틀린 답을 낼 때, 우리는 "아, AI 가 실수했네"라고만 알 뿐, 왜 실수했는지 알 수 없었습니다. 마치 요리사가 "소금 대신 설탕을 넣었어요"라고 말해주지 않고, 그냥 "맛이 이상해요"라고만 하는 것과 비슷합니다.
• 원인: AI 의 머릿속 (신경망) 은 너무 복잡해서, 어떤 개념이 어떻게 작동하는지 알기 어렵습니다.

2. 해결책: "시각적 스케치패드 (VisualScratchpad)"

연구진들은 AI 의 머릿속을 투명한 유리창으로 만들어주었습니다. 이 도구를 통해 AI 가 그림을 볼 때 머릿속에서 떠오르는 **'개념들 (Concepts)'**을 직접 보고, 조작할 수 있습니다.

🧩 핵심 기술 1: "마법의 렌즈 (희소 오토인코더)"

AI 가 그림을 볼 때, 수만 개의 작은 조각 (패치) 으로 나누어 봅니다. 연구진들은 **'희소 오토인코더 (SAE)'**라는 마법의 렌즈를 씌워서, AI 가 보는 그림 조각들을 의미 있는 단어로 바꿔줍니다.

• 예: "회색의 둥근 모양" → "고양이"
• 예: "빨간색 줄무늬" → "사과"

이렇게 하면 AI 가 그림에서 무엇을 보고 있는지 알 수 있게 됩니다.

🔗 핵심 기술 2: "손가락으로 가리키기 (어텐션 맵)"

AI 가 "손"이라는 단어를 말할 때, 그림의 어떤 부분을 보고 말했는지 확인합니다.

• 마치 AI 가 그림을 보며 **"여기를 봐! 여기가 중요해!"**라고 손가락으로 가리키는 것과 같습니다.
• 이 도구는 AI 가 어떤 개념을 보고, 어떤 단어를 연결했는지 정확히 보여줍니다.

🔥 핵심 기능: "머릿속 지우개 (인과 분석)"

이게 가장 신기한 부분입니다. 사용자가 AI 의 머릿속에서 특정 개념을 지우거나 (Ablation), 강조할 수 있습니다.

• 예시: AI 가 "의자에 앉은 노인"이라고 잘못 말했을 때, '의자'나 '앉다'라는 개념을 머릿속에서 지워버리면, AI 는 다시 생각해보고 **"일어서 있는 노인"**이라고 정답을 말합니다!
• 마치 요리사가 "설탕을 빼고 소금을 넣으니까 맛이 달라졌다"라고 확인하는 것과 같습니다.

---

3. AI 가 왜 틀렸을까? (3 가지 실수 패턴)

이 도구를 통해 연구진들은 AI 가 실수하는 세 가지 주요 원인을 찾아냈습니다.

① "눈은 보는데, 귀는 못 들은 경우" (Limited Cross-modal Alignment)

• 상황: AI 는 그림을 잘 보고 "장갑"을 인식했습니다. 하지만 질문이 "손 위에 있나요?"였을 때, AI 는 "장갑"과 "손"을 연결하지 못해 "테이블"이라고 답했습니다.
• 해결: 질문을 "장갑을 낀 손 위에 있나요?"라고 더 구체적으로 바꾸니, AI 가 바로 정답을 맞췄습니다.
• 비유: 요리사가 "소금"을 보았지만, 레시피에 "소금"이라는 단어가 없어서 "설탕"을 넣은 상황입니다.

② "속은 속임수에 넘어간 경우" (Misleading Visual Concepts)

• 상황: 그림에 휠체어가 있어서 AI 는 "앉아 있다"고 답했습니다. 하지만 사실 그 사람은 휠체어에서 일어나려는 중이었습니다. AI 는 '휠체어'라는 단어에 너무 매몰되어 실수했습니다.
• 해결: '휠체어'나 '앉다'라는 개념을 머릿속에서 지우니, AI 는 "일어서 있다"고 바르게 답했습니다.
• 비유: 요리사가 "냄비"를 보고 "국물"이 있을 거라 생각했지만, 사실은 "볶음밥"을 하고 있었습니다. 냄새 (시각적 단서) 에 속은 셈이죠.

③ "숨겨진 보물을 못 본 경우" (Unused Hidden Cues)

• 상황: 그림이 '오리'와 '토끼'가 모두 보이는 착시 그림일 때, AI 는 처음에 '오리'라고만 말했습니다. 하지만 머릿속에는 '토끼'에 대한 정보도 이미 저장되어 있었습니다.
• 해결: '오리' 개념을 지우고 '토끼' 개념을 강조하니, AI 는 "아! 토끼였구나!"라고 답을 바꿨습니다.
• 비유: 요리사 머릿속에 '고추'와 '마늘'이 다 준비되어 있었는데, '고추'만 먼저 꺼내서 썼습니다. '마늘'을 꺼내주니 요리가 완성된 것입니다.

---

4. 결론: AI 를 더 신뢰할 수 있게 만들기

이 **'시각적 스케치패드'**는 AI 가 실수할 때, 단순히 "틀렸다"고 말하는 게 아니라, **"왜 틀렸는지"**를 보여주고 "직접 고쳐볼 수 있게" 해줍니다.

• 일반인도 쉽게: 복잡한 코딩 없이, 그림과 개념을 시각적으로 보면서 AI 의 사고 과정을 이해할 수 있습니다.
• 신뢰성 향상: AI 가 왜 그런 답을 냈는지 알 수 있으니, 우리는 AI 를 더 믿고 사용할 수 있게 됩니다.

한 줄 요약:

"이 도구는 AI 의 머릿속을 투명하게 만들어, AI 가 그림을 볼 때 어떤 생각을 하고, 왜 실수하는지 직접 보고 고쳐주는 **'AI 의 두뇌 수술실'**입니다."

이제 AI 가 틀린 답을 낼 때, 우리는 "AI 가 바보야"라고 말하기보다, "아, AI 가 이 부분을 잘못 연결했구나, 고쳐보자!"라고 말할 수 있게 되었습니다! 🚀

기술 요약

1. 문제 정의 (Problem)

비전 - 언어 모델 (VLM) 은 높은 성능을 보이지만, 여전히 잘못된 답변을 생성합니다. 그러나 이러한 실패 원인 (Failure Modes) 을 설명하는 것은 매우 어렵습니다.

• 기존 한계: 현재 VLM 의 내부 작동 원리는 불투명하며, 모델이 어떤 시각적 단서 (Visual Cues) 를 감지했는지, 혹은 잘못된 단서에 의존하여 오류를 범했는지 체계적으로 분석하고 디버깅할 수 있는 도구가 부족합니다.
• 신경망 해석의 난제: 단일 뉴런이 여러 관련 없는 개념에 의해 동시에 활성화되는 중첩 (Superposition) 현상이 발생하여, 개별 뉴런을 통해 모델의 기능을 역추적하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 VisualScratchpad라는 인터랙티브 인터페이스를 제안하여 추론 시간 (Inference-time) 에 시각적 개념을 분석하고 인과 관계를 검증하는 파이프라인을 구축했습니다.

가. 희소 오토인코더 (SAE) 적용

• 비전 인코더 직접 학습: VLM 내부의 언어 모델 레이어가 아닌, 비전 인코더 (Vision Encoder, 예: CLIP-ViT) 에 직접 희소 오토인코더 (Sparse Autoencoder, SAE) 를 적용합니다.
• 개념 추출: SAE 는 밀집된 (Dense) 비전 표현을 고차원의 희소 기저 (Sparse Basis) 로 변환하여, 각 잠재 변수 (Latent) 가 특정 시각적 개념 (예: '장갑', '의자', '물고기') 을 의미하도록 분해합니다.

나. 텍스트 - 이미지 어텐션을 통한 개념 연결

• 어텐션 가중치 활용: 언어 모델의 텍스트 토큰이 이미지 패치 (Patch) 를 얼마나 주시하는지 나타내는 텍스트 - 이미지 어텐션 맵 (Text-to-Image Attention Map) 을 활용합니다.
• 개념 재순위화 (Re-ranking): 이미지 패치별 SAE 잠재 변수 활성화 값에 어텐션 가중치를 곱하여, 텍스트 토큰과 관련된 시각적 개념의 중요도를 재평가합니다. 이를 통해 "모델이 특정 단어를 생성할 때 실제로 어떤 시각적 개념을 보고 있는지"를 파악할 수 있습니다.

다. 토큰 - 잠재 히트맵 (Token-Latent Heatmap) 및 클러스터링

• 인과 분석을 위한 선택: SAE 잠재 변수는 수만 개에 달하며 의미적 세분화 (Granularity) 가 다양합니다. 효과적인 개념 제거 (Ablation) 를 위해, 모든 출력 토큰에 걸쳐 유사한 활성화 패턴을 보이는 잠재 변수들을 클러스터링합니다.
• 히트맵 시각화: 토큰별 잠재 변수 활성화 강도를 히트맵으로 시각화하여, 사용자가 어떤 잠재 변수 그룹이 특정 의미 (Topic) 를 담당하는지 직관적으로 파악하고 선택할 수 있게 합니다.

라. 인과적 개입 (Causal Intervention)

• 잠재 변수 조작 (Latent Steering): 선택된 잠재 변수의 활성화 값을 0 으로 설정 (Ablation) 하거나, 사용자가 지정한 값으로 변경하여 모델의 출력 변화를 관찰합니다. 이를 통해 해당 개념이 모델의 결정에 인과적 영향 (Causal Influence) 을 미치는지 검증합니다.

3. 주요 기여 (Key Contributions)

1. VisualScratchpad 인터페이스 개발: SAE 기반의 개념 탐색, 추론 시간 디버깅, 인과 분석을 통합한 최초의 인터랙티브 도구입니다.
2. 비전 인코더 중심의 분석: 기존 VLM 분석이 언어 모델 내부의 크로스 - 어텐션에 의존하던 것과 달리, 비전 인코더의 직접적인 SAE 분석과 어텐션 맵을 통한 연결 방식을 제안하여 더 정확한 시각적 개념 추적을 가능하게 했습니다.
3. 체계적인 디버깅 파이프라인: 단순한 시각화를 넘어, 히트맵 기반 클러스터링을 통해 의미 있는 잠재 변수 집합을 자동으로 식별하고, 이를 통해 모델의 오류 원인을 규명하는 체계적인 프로세스를 제시했습니다.

4. 결과 및 발견 (Results & Findings)

LLaVA-Next-8B 모델을 대상으로 한 사례 연구 (Case Studies) 를 통해 VLM 의 세 가지 주요 실패 모드를 발견하고 이를 교정했습니다.

• Case 1: 제한된 교차 - 모달 정렬 (Limited Cross-modal Alignment)
  • 현상: 모델은 손 (Hand) 을 인식하고 '장갑 (Gloves)' 개념을 활성화했으나, 텍스트 "손"과 시각적 "장갑" 간의 정렬이 부족하여 "표면 (Surface)"이라고 잘못 답변했습니다.
  • 해결: 질문을 "장갑을 낀 손"으로 구체화하자 모델이 정답을 도출했습니다. 이는 시각적 개념이 존재하더라도 언어적 표현과 정렬되지 않아 활용되지 않음을 시사합니다.
• Case 2: 오해의 소지가 있는 시각적 단서 (Misleading Visual Cues)
  • 현상: 노인이 '보행기 (Walker)'를 잡고 서 있는 이미지에서, 모델은 '휠체어' 및 '앉음' 개념에 과도하게 의존하여 "앉아 있다"고 잘못 예측했습니다.
  • 해결: '휠체어' 및 '앉음' 관련 잠재 변수를 제거 (Ablation) 하자 모델의 답변이 "서 있다"로 올바르게 변경되었습니다. 이는 모델이 연관성은 있으나 의미적으로 부적절한 단서에 의존하는 경향이 있음을 보여줍니다.
• Case 3: 사용되지 않는 숨겨진 단서 (Unused Hidden Cues)
  • 현상: 착시 이미지 (오리/토끼) 에서 모델은 '오리'로만 설명했으나, '토끼' 관련 개념도 내부적으로 활성화되어 있었습니다.
  • 해결: '오리' 관련 잠재 변수를 억제하고 '토끼' 관련 변수를 증폭시키자 모델의 출력이 '토끼'로 변경되었습니다. 이는 모델이 최종 출력보다 더 풍부한 시각 정보를 내부에 보유하고 있음을 증명합니다.

5. 의의 및 의의 (Significance)

• 신뢰할 수 있는 AI 설계 (Trustworthy AI): VLM 의 오류가 단순히 시각 인식 부족이 아니라, 개념 정렬 실패나 잘못된 단서 의존성 등 내부 메커니즘의 문제임을 규명함으로써, 모델의 신뢰성을 높이는 데 기여합니다.
• 해석 가능성 (Interpretability) 의 실용화: SAE 와 같은 이론적 도구를 실제 VLM 디버깅에 적용 가능한 인터페이스로 구현하여, 연구자들이 모델의 "블랙박스"를 체계적으로 열어볼 수 있는 길을 열었습니다.
• 향후 연구 방향: 대규모 자동화 실험과 더 깊은 교차 - 모달 추적 (Cross-modal tracing) 으로 확장 가능하며, 의료 영상 등 도메인 특화 모델의 해석에도 적용 가능한 프레임워크를 제공합니다.

이 논문은 VLM 의 실패 원인을 단순히 데이터의 문제가 아니라, 모델 내부의 개념 표현과 활용 메커니즘의 문제로 접근하여, 이를 시각화하고 제어할 수 있는 새로운 패러다임을 제시했다는 점에서 의의가 큽니다.