Kestrel: Grounding Self-Refinement for LVLM Hallucination Mitigation

이 논문은 대규모 시각 - 언어 모델 (LVLM) 의 환각 현상을 해결하기 위해, 명시적인 시각 근거 수집과 증거 검증 기반의 자기 정제 메커니즘을 결합한 학습 없는 프레임워크인 'Kestrel'을 제안하고, 이를 통해 기존 방법론 대비 성능을 크게 향상시키면서도 해석 가능한 검증 흔적을 제공한다고 요약할 수 있습니다.

핵심

🦅 케스트렐 (Kestrel): 그림을 보고 말실수를 고치는 '현명한 비서'

이 논문은 **대형 시각-언어 모델 **(LVLM)이 겪는 큰 문제, 즉 "할루시네이션 (Hallucination)"을 해결하는 새로운 방법인 **'케스트렐 **(Kestrel)을 소개합니다.

할루시네이션이란, AI 가 그림을 보면서도 **실제로 없는 물건을 보거나, 색깔을 잘못 말하거나, 위치를 엉뚱하게 설명하는 '망상'**을 일으키는 현상입니다. 마치 눈을 감고 그림을 상상하는 것과 비슷하죠.

이 논문은 이 문제를 해결하기 위해 **모델을 다시 훈련 **(학습)라는 혁신적인 방법을 제안합니다.

---

🦅 케스트렐의 핵심: "눈을 뜨고, 증거를 모으고, 다시 생각하라"

케스트렐의 작동 원리를 일상적인 상황에 비유해 설명해 드릴게요.

1. 상황: AI 가 그림을 보고 질문받음

일반적인 AI 는 그림을 보고 "저기 붉은 사과가 3 개 있네요!"라고 바로 대답합니다. 하지만 실제로는 사과가 2 개일 수도 있고, 빨간색이 아니라 초록색일 수도 있습니다. AI 는 자신의 기억 (학습 데이터) 에만 의존해서 확신에 차서 틀린 말을 하는 경우가 많습니다.

2. 케스트렐의 첫 번째 단계: "현장 조사관 부르기" (Grounding Agent)

케스트렐은 AI 가 바로 대답하게 두지 않습니다. 대신 **전문적인 '현장 조사관 **(SAM3)을 부릅니다.

• 비유: AI 가 "저기 사과가 있네!"라고 말하면, 케스트렐은 "잠깐, 정말로 있나? 한번 확인해보자"라고 말합니다.
• 행동: 조사관은 그림 속의 '사과' 영역을 정확히 잘라내어 (세그멘테이션), 테두리를 그리고 (바운딩 박스), 확대해서 자세히 봅니다 (크롭 & 줌).
• 결과: 조사관은 AI 에게 "사과가 2 개입니다. 색깔은 초록색입니다"라는 구체적인 사진 증거를 가져옵니다.

3. 두 번째 단계: "증거로 검증하기" (Claim-level Verification)

AI 가 처음 한 말 (가설) 과 조사관이 가져온 증거를 대조합니다.

• 비유: 마치 법정에서 검사와 변호사가 증거를 대조하는 것과 같습니다.
  • AI: "사과 3 개, 빨간색!"
  • 증거: "사과 2 개, 초록색."
  • 판결: "AI 의 말은 틀렸습니다. 증거에 따르면 2 개이고 초록색입니다."
• 이때 AI 는 단순히 "아, 내가 틀렸네"라고 고치는 게 아니라, 어떤 증거 때문에 틀렸는지를 명확히 이해합니다.

4. 세 번째 단계: "조심스럽게 수정하기" (Evidence-Gated Self-Refinement)

이게 가장 중요한 부분입니다. 조사관의 말이 100% 확실하지 않다면, AI 는 함부로 답을 바꾸지 않습니다.

• 비유: 신중한 편집자처럼 행동합니다.
  • "증거가 확실할 때만 답을 고친다."
  • "증거가 모호하면, 원래 답을 유지하거나 더 많은 증거를 찾아본다."
  • 이렇게 해서 **틀린 것을 고치는 건데, 오히려 맞는 것을 틀리게 고치는 **(Over-correction)을 막습니다.

이 과정을 몇 번 반복하면, AI 는 처음의 망상적인 답을 증거에 기반한 정확한 답으로 바꾸게 됩니다.

---

🌟 왜 이 방법이 특별한가요?

1. **훈련 비용 0 원 **(Training-free)

   • 기존 방법들은 AI 를 다시 가르치기 위해 수천만 원의 돈과 시간이 들었습니다. 하지만 케스트렐은 이미 만들어진 AI 를 그대로 쓰면서, 질문할 때만 '증거 수집' 과정을 거치면 됩니다. 마치 유능한 비서를 고용해서 AI 의 실수를 바로잡는 것과 같습니다.

2. **이유를 알 수 있음 **(Interpretability)

   • "왜 이 답을 했나요?"라고 물으면, 케스트렐은 "이 사진 증거 (사과 2 개) 와 이 텍스트 증거 (초록색) 를 봤기 때문입니다"라고 명확한 근거를 보여줍니다. 블랙박스처럼 이유를 모르는 AI 와는 다릅니다.

3. 강력한 성능:

   • 실험 결과, 기존에 가장 잘하던 AI 들보다 틀린 말을 훨씬 더 적게 했습니다. 특히 "사과가 몇 개인가?", "어디에 있는가?" 같은 세부적인 질문에서 큰 개선을 보였습니다.

---

📝 한 줄 요약

케스트렐은 AI 가 그림을 볼 때, 눈을 감고 상상하는 대신 전문 조사관을 보내 실제 증거를 수집하게 하고, 그 증거를 바탕으로 조심스럽게 답을 고쳐서 AI 가 **거짓말 **(할루시네이션)을 하도록 돕는 똑똑한 시스템입니다.

이제 AI 는 "내가 봤을 때..."라고 막연히 말하는 대신, "이 증거를 보니..."라고 확신 있게, 그리고 정확하게 말할 수 있게 되었습니다! 🦅✨

기술 요약

1. 문제 정의 (Problem)

대형 시각 - 언어 모델 (LVLMs) 은 멀티모달 이해 및 추론 능력에서 비약적인 발전을 이루었으나, 여전히 할루시네이션 (Hallucination, 환각) 문제가 심각한 과제로 남아 있습니다. 할루시네이션은 입력 이미지의 내용과 일치하지 않거나 약하게 지지되는 답변을 생성하는 현상으로, 모델의 신뢰성과 실제 배포 가능성을 크게 제한합니다.

기존의 할루시네이션 완화 방법은 크게 두 가지로 나뉩니다:

• 학습 기반 (Training-based): 할루시네이션 주석 데이터로 추가 학습하거나 외부 피드백과 정렬을 수행합니다. 그러나 대규모 모델의 경우 데이터 수집과 연산 비용이 매우 비싸며, 배포에 어려움이 있습니다.
• 학습 불필요 (Training-free): 추론 시 모델 파라미터를 수정하지 않고 보정하는 방법입니다. 하지만 기존 방법들은 내부 디코딩 역학에만 의존하거나 단일 패시 (single-pass) 검증에 그쳐 개선 효과가 제한적이거나, 과잉 수정 (over-correction) 이 발생하며 해석 가능성 (interpretability) 이 부족하다는 한계가 있었습니다.

2. 방법론 (Methodology)

저자들은 Kestrel이라는 새로운 학습 불필요 (training-free) 프레임워크를 제안합니다. 이는 **명시적인 시각 기반 에이전트 (Explicit Visual Grounding Agent)**와 **증거 기반 반복적 자기 개선 (Evidence-driven Iterative Self-Refinement)**을 결합하여 할루시네이션을 완화합니다.

Kestrel 의 프로세스는 크게 4 단계로 구성됩니다:

1. 초기화 (Initialization):

   • LVLM 에게 초기 답변을 요청합니다.
   • 질문을 검증 가능한 클레임 (Claim) 단위로 분해합니다 (예: 존재 여부, 색상, 개수, 위치). 각 클레임은 구체적인 시각적 엔티티에 연결됩니다.

2. 에이전트 그라운딩 (Agent Grounding):

   • 외부 도구인 SAM3 (Segment Anything Model 3) 기반의 시각 기반 에이전트를 호출합니다.
   • 각 클레임에 대해 시각적 증거를 수집합니다:
     • 시각적 증거: 세그멘테이션 오버레이, 바운딩 박스, 확대/축소된 컷 (crop-and-zoom) 뷰.
     • 구조화된 텍스트 증거: 수집된 시각 정보를 바탕으로 LVLM 이 생성한 텍스트 증거 (예: "개체가 존재함", "색상은 빨간색임", "개수는 3 개임"). 이는 인용 식별자 (citation identifier) 와 함께 구조화됩니다.

3. 클레임 수준 검증 (Claim-level Verification):

   • LVLM-as-a-Judge를 사용하여 각 클레임과 수집된 증거를 대조합니다.
   • 각 클레임에 대해 '지지됨 (supported)', '반박됨 (contradicted)', '불충분함 (insufficient)'의 판결과 신뢰도 점수, 그리고 근거를 제시하는 추론을 생성합니다.
   • 모든 클레임이 강력하게 지지될 때만 전체 답변이 지지된 것으로 간주합니다.

4. 자기 개선 (Self-Refinement):

   • 증거 게이트 (Evidence-gated) 업데이트 전략을 적용합니다.
   • 고신뢰도 클레임 판단과 인용된 증거가 명확히 존재할 때만 답변을 수정합니다. 그렇지 않으면 현재 답변을 유지하고 다음 라운드에서 더 강력한 증거를 수집합니다.
   • 이 과정은 상태 유지 (stateful) 방식으로, 이전 라운드의 클레임, 증거, 결정을 참조하여 점진적으로 답변을 정제하고 과잉 수정을 방지합니다.

3. 주요 기여 (Key Contributions)

1. Kestrel 프레임워크 제안: 학습 불필요 방식으로서, 외부 시각 기반 에이전트와 증거 기반의 반복적 자기 개선을 통합한 최초의 프레임워크 중 하나입니다.
2. 해석 가능성 및 신뢰성 향상: 단순한 디코딩 수정이 아닌, 명시적인 시각 및 텍스트 증거를 기반으로 클레임 단위로 검증하고 보수적으로 답변을 수정함으로써, 할루시네이션의 원인을 추적하고 해석 가능한 검증 흔적 (verification traces) 을 제공합니다.
3. SOTA 성능 달성: POPE 와 MME-Hallucination 벤치마크에서 기존 학습 불필요 방법론들을 압도하는 성능을 기록했습니다.
4. 범용성: Qwen3-VL, InternVL3.5 등 다양한 최첨단 LVLM 백본에서 일관된 성능 향상을 보여주어 프레임워크가 백본에 구애받지 않음을 입증했습니다.

4. 실험 결과 (Results)

• POPE 벤치마크:
  • Qwen3-VL 백본 기준, 평균 **3.31%**의 정확도 향상을 기록했습니다 (Pop. 및 Adv. 분할에서 특히 두드러짐).
  • InternVL3.5 백본 기준 평균 3.03% 향상.
  • 기존 학습 불필요 방법 (OPERA, VCD, Woodpecker 등) 보다 평균 1.38~1.47% 더 높은 성능을 보였습니다.
• MME-Hallucination 벤치마크:
  • 더 세분화된 평가 (존재, 개수, 위치, 색상) 에서 Qwen3-VL 기준 28.34 점의 큰 향상을 기록했습니다.
  • 특히 객체 존재/개수 및 공간 추론 능력에서 큰 개선을 보였습니다.
• 인간 선호도 평가:
  • 60 개의 사례에 대한 인간 평가에서 Kestrel 이 **68.3%**의 선호도를 받아, 두 번째로 높은 방법 (DeGF, 13.3%) 보다 압도적으로 높은 점수를 받았습니다. 이는 생성된 답변이 인간의 사실성 및 근거 기반 판단과 더 잘 부합함을 의미합니다.
• 효율성:
  • 반복 검증으로 인해 단일 패시 추론보다 지연 시간 (latency) 은 증가하지만, 초기 단계에서 해결되는 쉬운 케이스를 제외하고 점진적으로 반복 횟수가 줄어들어 효율적인 균형을 이룹니다.

5. 의의 및 결론 (Significance)

Kestrel 은 대규모 멀티모달 모델의 할루시네이션 문제를 해결하기 위해 학습 비용 없이 적용 가능한 강력한 솔루션을 제시합니다. 핵심적인 의의는 다음과 같습니다:

• 검증 가능성 (Verifiability): 모델이 "왜" 그 답을 수정했는지 시각적 및 텍스트적 증거를 통해 투명하게 설명할 수 있게 합니다.
• 보수적 수정 (Conservative Refinement): 불확실한 증거에 기반한 위험한 수정을 방지하여 모델의 안정성을 유지하면서 할루시네이션만 정밀하게 제거합니다.
• 신뢰할 수 있는 AI: 명시적인 그라운딩과 해석 가능한 반복 검증을 결합함으로써, 실제 환경에서 배포 가능한 더 신뢰할 수 있는 LVLM 을 구축하는 새로운 패러다임을 제시합니다.

결론적으로, Kestrel 은 외부 도구의 힘을 빌려 모델의 내부 추론을 검증하고 정제하는 방식을 통해, 할루시네이션 완화 분야에서 새로운 State-of-the-Art (SOTA) 를 달성했습니다.