Visual Prompt Discovery via Semantic Exploration

이 논문은 LVLM 의 지각 실패를 해결하기 위해 수동 시행착오를 대체하고 추상적 아이디어 공간과 의미 기반 피드백을 활용하여 다양한 시각적 프롬프트를 자동으로 탐색하는 프레임워크인 SEVEX 를 제안합니다.

핵심

이 논문은 **"AI 가 그림을 볼 때 실수를 많이 하는데, 어떻게 하면 AI 가 더 똑똑하게 그림을 볼 수 있을까?"**라는 질문에 대한 해답을 제시합니다.

이해하기 쉽게 '그림 보는 AI 의 안경 맞추기' 프로젝트라고 상상해 보세요.

1. 문제: AI 는 왜 그림을 못 볼까요?

최근 '거대 시각-언어 모델 (LVLM)'이라는 AI 들은 글을 읽고 대화하는 건 천재 수준이지만, 그림을 볼 때는 엉뚱한 실수를 많이 합니다.

• 예를 들어, "그림에 선이 몇 개 겹쳐있나요?"라고 물으면, AI 는 선을 제대로 못 보고 "2 개"라고 대답했다가 정답이 "0 개"인 걸로 바뀌는 식입니다.
• 기존 연구자들은 AI 가 실수할 때, **"이런 도구를 써봐!"**라고 새로운 프로그램을 알려주거나, 사람이 직접 **"여기를 잘라내서 보여줘"**라고 수동으로 지시했습니다. 하지만 이는 AI 가 왜 실수하는지 근본 원인을 찾기보다, 단순히 '도구'를 찾는 데 그쳤고, 사람이 일일이 실험해 봐야 해서 너무 비효율적이었습니다.

2. 해결책: SEVEX (AI 의 안경을 자동으로 맞춰주는 시스템)

저자들은 SEVEX라는 새로운 시스템을 개발했습니다. 이 시스템은 사람이 직접 실험하는 대신, **AI 에이전트 (비서)**가 스스로 아이디어를 내고 실험하며 최적의 방법을 찾아냅니다.

이 과정을 **'요리 레시피 개발'**에 비유해 볼까요?

• 기존 방식 (수동 실험): 요리사가 "소금 좀 더 넣으면 어떨까?", "설탕을 줄이면 어떨까?"라고 직접 맛을 보고 실패를 반복하며 레시피를 만듭니다. 시간이 너무 오래 걸립니다.
• SEVEX 방식 (의미 탐색): 요리사 대신 스마트한 비서가 있습니다.
  1. 추상적인 아이디어 공간: 비서는 "소금 양 조절" 같은 구체적인 레시피를 바로 쓰지 않고, **"맛을 더 강하게"**나 "식감을 부드럽게" 같은 고차원적인 아이디어만 먼저 생각합니다. (코드라는 구체적인 실행은 나중에 합니다.)
  2. 새로운 아이디어 찾기 (Novelty): 비서는 이미 시도해 본 비슷한 아이디어는 제외하고, 아직没人이 시도해 본 독특한 아이디어를 우선적으로 골라 실험합니다.
  3. 실패에서 배우기 (Semantic Backpropagation): 실험 결과를 보고 "아, 이 방법은 실패했구나. 왜 실패했지? 아, 그림이 너무 작아서 그랬구나!"라고 원인을 분석합니다. 이 교훈을 기억해서 다음 아이디어를 만들 때 반영합니다.

3. 놀라운 발견: "한 명에게 맞는 안경은 다른 사람에게는 안 맞아요"

이 논문에서 가장 중요한 발견은 **"AI 모델마다 최적의 그림 보는 방법이 다르다"**는 것입니다.

• 비유: A 라는 사람에게 잘 맞는 안경 (시각 프롬프트) 을 B 라는 사람에게 끼워주면, 오히려 시야가 더 흐려질 수 있습니다.
• 결과: SEVEX 는 각 AI 모델의 특성에 맞춰 **그 모델 전용의 최적화된 안경 (시각 프롬프트)**을 자동으로 찾아냅니다. 예를 들어, 어떤 AI 는 "그림을 잘라내서 보여줘"라는 지시를 좋아하고, 또 다른 AI 는 "그림에 선을 그려줘"라는 지시를 더 잘 따릅니다.

4. 실제 성과: 어떻게 변했나요?

SEVEX 를 적용한 결과, AI 의 그림 이해 능력은 기존 방식보다 훨씬 뛰어났습니다.

• 정확도: "선 몇 개 겹쳐있나요?" 같은 어려운 문제에서 정답률이 크게 올랐습니다.
• 비용: 사람이 일일이 실험할 필요 없이, 시스템이 스스로 최적의 방법을 찾아내므로 시간과 계산 비용이 절약됩니다.
• 창의성: 인간이 상상하지 못했던 기발한 방법도 찾아냈습니다. (예: 그림을 겹쳐서 깊이를 재는 모델을 이용해 "이 부분이 자연스러운가?"를 판단하게 하는 등, 도구를 원래 용도가 아닌 방식으로 활용)

요약

이 논문은 **"AI 가 그림을 볼 때 실수하는 이유를 사람이 일일이 찾아내는 게 아니라, AI 가 스스로 실험하고 배우게 해서, 각 AI 모델에 딱 맞는 '그림 보는 안경'을 자동으로 만들어주는 시스템"**을 소개합니다.

이는 AI 가 더 똑똑하고 신뢰할 수 있게 그림을 볼 수 있게 해주는 자동화된 '시각 프롬프트' 발견의 새로운 패러다임입니다.

기술 요약

1. 문제 정의 (Problem Definition)

• LVLM 의 지각 실패 (Perception Failures): 대규모 비전 - 언어 모델 (LVLM) 은 복잡한 추론과 대화에는 탁월하지만, 미세한 속성 식별이나 공간적 관계 이해와 같은 기본적인 비전 지각 작업에서는 심각한 실패 (할루시네이션, 잘못된 추론) 를 겪습니다.
• 기존 시각 프롬프트의 한계:
  • 수동 탐색의 비효율성: 효과적인 시각 프롬프트 (이미지 조작 코드 + 텍스트 프롬프트) 를 찾는 과정이 인간의 시행착오 (Trial-and-error) 에 의존하고 있어 확장성이 낮습니다.
  • 0-shot 생성의 비적응성: 기존 방법 (예: SketchPad) 은 추론 시점에 도구를 선택하는 데 집중하지만, LVLM 의 구체적인 지각 실패 원인을 진단하고 해결하지 못합니다.
  • 모델 간 비이전성 (Non-transferability): 한 모델에 최적화된 시각 프롬프트가 다른 아키텍처의 모델에서는 효과가 없거나 오히려 성능을 저하시키는 경우가 많습니다.
  • 검색 공간의 복잡성: 저수준의 긴 코드와 방대한 비전 조작 조합은 에이전트가 최적 해를 찾는 것을 어렵게 만들며, 긴 컨텍스트로 인한 주의 산만을 유발합니다.

2. 제안 방법: SEVEX (Methodology)

저자들은 **SEmantic Visual prompt EXploration (SEVEX)**이라는 자동화된 에이전트 기반 프레임워크를 제안합니다. 이는 원시 코드 검색이 아닌, **고수준의 '아이디어 공간 (Idea Space)'**에서의 의미론적 탐색을 수행합니다.

핵심 구성 요소 및 알고리즘

1. 동적 탐색 트리 (Dynamic Search Tree):

   • 탐색은 사전 정의된 트리가 아니라, 에이전트가 새로운 아이디어를 생성하며 동적으로 성장하는 트리 구조 ($T$) 로 이루어집니다.
   • 각 노드 ($N$) 는 추상적 아이디어 (Abstract Idea), 구현 코드 (Implementation), 자기 평가 점수 (Self-Evaluation), **실험 기록 (Experiment History)**으로 구성됩니다.

2. Novelty-guided UCT (NUCT) 알고리즘:

   • 기존 UCB(Upper Confidence Bound) 알고리즘을 개선하여, 실행되지 않은 노드의 잠재력을 평가할 때 **새로움 (Novelty)**과 **포화도 (Saturation)**를 고려합니다.
   • 실행된 노드: 부모 노드 대비 최대 보상 ($R_{max}$) 을 기준으로 탐색합니다.
   • 미실행 노드: 에이전트의 자기 평가 점수 (기대 이득, 새로움) 와 부모 노드의 자식 노드 포화도를 기반으로 우선순위를 매겨, 과도한 분기를 방지하고 유망한 하위 노드를 깊이 있게 탐색하도록 유도합니다.

3. 의미론적 역전파 (Semantic Backpropagation):

   • 단순한 수치적 보상 (정확도) 만 전파하는 것이 아니라, 개발 세트의 개별 샘플에 대한 실패/성공 원인 분석을 수행합니다.
   • 분석 에이전트가 "어떤 시각적 요소가 유효한가"에 대한 **실행 가능한 통찰 (Actionable Insights)**을 도출하여 조상 노드 (Ancestor nodes) 로 역전파합니다. 이를 통해 에이전트는 비효율적인 조작을 반복하지 않고 고수준 전략을 개선합니다.

4. 탐색 파이프라인 (4 단계 루프):

   • 선택 (Selection): NUCT 를 통해 가장 유망한 아이디어 노드 선택.
   • 구현 및 실행 (Implementation & Execution): 아이디어를 구체적인 이미지 조작 코드와 텍스트 프롬프트로 변환하여 개발 세트에서 실행.
   • 의미론적 역전파 (Backpropagation): 실험 결과를 분석하여 통찰을 추출하고 노드 히스토리에 업데이트.
   • 확장 (Expansion): 업데이트된 통찰을 바탕으로 새로운 형제/자식 노드 생성.

3. 주요 기여 (Key Contributions)

1. 작업별 시각 프롬프트의 자동 발견: 수동 엔지니어링이나 0-shot 생성을 넘어, 에이전트 기반 프레임워크를 통해 특정 작업과 모델 아키텍처에 최적화된 시각 프롬프트를 자동으로 발견합니다.
2. 의미론적 탐색 (Semantic Exploration) 프레임워크:
   • 저수준 코드 검색 대신 추상 아이디어 공간을 검색 공간으로 정의하여 인지 부하를 줄였습니다.
   • 새로움 유도 선택 알고리즘과 의미론적 역전파를 결합하여 효율적이고 다양한 탐색을 가능하게 했습니다.
3. 모델 특화 최적화의 필요성 입증: 발견된 시각 프롬프트가 모델 간에 이전되지 않음을 실험적으로 증명하여, 각 모델의 고유한 지각 편향을 고려한 자동 발견 프레임워크의 중요성을 강조했습니다.

4. 실험 결과 (Results)

데이터셋: LVLM 의 지각 실패를 평가하기 위해 설계된 BlindTest 및 BLINK 벤치마크 사용.

• 성능 (Accuracy):
  • SEVEX 는 BlindTest에서 평균 정확도 72.4% (Naive: 65.6%, SketchPad: 47.4%), BLINK에서 84.1% (Naive: 76.5%, SketchPad: 78.3%) 를 기록하여 모든 베이스라인을 압도적으로 능가했습니다.
  • 특히 '선 교차점 세기 (Line Intersections)'와 같은 지각 실패가 빈번한 작업에서 성능 향상이 두드러졌습니다.
• 추론 효율성 (Inference Efficiency):
  • SEVEX 는 탐색 비용은 upfront 로 발생하지만, 최종 추론 시의 토큰 소모량은 Naive 방법보다 약 10.9% 증가에 그쳤으며, SketchPad 대비 91.2% 감소된 효율성을 보였습니다.
• 탐색 효율성 (Exploration Efficiency):
  • 탐색 단계에서의 토큰 소모량이 SketchPad+APE 대비 약 11.5% 수준으로, 훨씬 적은 비용으로 더 나은 프롬프트를 발견했습니다.
• 정성적 분석:
  • SEVEX 는 인간이 직관적으로 생각하지 못한 반직관적 전략을 발견했습니다. (예: Jigsaw 작업에서 이미지 오버레이 후 깊이 추정 (Depth Estimation) 모델을 사용하여 자연스러움을 판단하는 등, 도구의 원래 용도와 다른 방식으로 활용).

5. 의의 및 결론 (Significance)

• 패러다임 전환: LVLM 의 지각 실패를 해결하기 위해 '도구 선택' 중심에서 '지각 실패 진단 및 해결' 중심의 자동화된 프롬프트 공학으로의 전환을 제시합니다.
• 확장성: 수동 탐색의 비효율성을 해결하고, 다양한 모델 아키텍처에 맞춰 개별적으로 최적화된 프롬프트를 생성할 수 있는 확장 가능한 솔루션을 제공합니다.
• 미래 지향성: 본 연구는 LVLM 의 신뢰성을 높이기 위해 자동화된 발견 프로세스가 필수적임을 보여주며, 향후 비전 - 언어 모델의 지각 능력 향상을 위한 새로운 표준을 제시합니다.

요약하자면, SEVEX는 LVLM 의 지각 한계를 극복하기 위해, 에이전트가 고수준 아이디어를 탐색하고 실험 결과를 의미론적으로 분석하여 최적의 시각 프롬프트를 자동으로 찾아내는 혁신적인 프레임워크입니다.