Proof-of-Perception: Certified Tool-Using Multimodal Reasoning with Compositional Conformal Guarantees

이 논문은 각 단계에서 검증 가능한 불확실성 보장을 제공하는 'Proof-of-Perception(PoP)' 프레임워크를 제안하여, 멀티모달 추론의 정확성과 신뢰성을 높이고 계산 비용을 효율적으로 관리하는 방법을 제시합니다.

핵심

🕵️‍♂️ '지각의 증명 (Proof-of-Perception)': AI 가 실수하지 않는 비결

이 논문은 인공지능 (AI) 이 복잡한 그림이나 문서를 볼 때, **"내가 정말로 맞았을까?"**라고 스스로 의심하고 검증하는 새로운 시스템을 소개합니다. 이 시스템의 이름은 **'지각의 증명 (Proof-of-Perception, PoP)'**입니다.

기존의 AI 는 그림을 보면 바로 "아, 이건 사과야!"라고 확신하며 답을 내놓습니다. 하지만 가끔은 사과를 배로 오해하거나, 글자를 잘못 읽는 실수를 합니다. PoP 는 이런 실수를 막기 위해 AI 에게 '확신할 수 있는 증거'를 요구하고, 계산 비용을 아끼는 지능적인 전략을 가르칩니다.

이 시스템을 이해하기 쉽게 세 가지 비유로 설명해 드릴게요.

---

1. 🧩 퍼즐을 맞추는 '신중한 탐정' vs '성급한 추리꾼'

기존의 AI(기존 방법론) 는 마치 성급한 추리꾼과 같습니다.

• 상황: 낡은 문서나 복잡한 차트를 봅니다.
• 행동: "어, 이 글자가 'A'처럼 보이네? 아, 그럼 답은 'A'야!"라고 바로 결론을 내립니다.
• 문제: 만약 글자가 흐릿해서 'A'가 아니라 '4'였다면? AI 는 이미 결론을 내렸기 때문에 뒤늦게 수정하지 못하고 엉뚱한 답을 내놓습니다. 이를 **할루시네이션 (환각)**이라고 합니다.

**PoP (지각의 증명)**는 신중한 탐정과 같습니다.

• 행동: "글자가 'A'처럼 보이는데, 흐릿해서 '4'일 가능성도 있어. 일단 'A'와 '4' 모두를 후보로 남겨두자."라고 생각합니다.
• 특징: AI 는 하나의 답만 내놓는 게 아니라, **"이 답이 맞을 확률이 90% 이상인 후보들 (집합)"**을 만들어냅니다.
• 결과: 나중에 논리적으로 '4'가 더 맞다는 증거가 나오면, 'A'는 자연스럽게 사라지고 '4'만 남게 됩니다. 이렇게 실수를 미리 걸러내는 것이 핵심입니다.

2. 💰 예산을 아끼는 '현명한 지휘관'

AI 가 매번 모든 것을 다시 확인하면 시간이 너무 오래 걸리고 비용이 많이 듭니다. PoP 에는 **현명한 지휘관 (컨트롤러)**이 있습니다.

• 상황: 탐정 (AI) 이 "글자 'A'와 '4' 중 어느 게 맞을지 모르겠어요"라고 보고합니다.
• 지휘관의 결정:
  • 확신이 있을 때: "좋아, 그 답으로 가자!" (계산 중단, 비용 절감)
  • 불확실할 때: "잠깐, 더 선명한 사진으로 다시 찍어오거나, 다른 전문가에게 물어봐!" (추가 작업, 비용 증가)
• 비유: 마치 택시 기사가 같습니다.
  • 목적지가 명확하면 바로 가지만 (비용 절감),
  • 길이 막히거나 길을 모르면 다른 경로를 찾거나 GPS 를 다시 켭니다 (비용 증가).
  • PoP 는 불확실한 부분에만 돈을 쓰고, 확실한 부분은 그냥 지나가는 똑똑한 지휘관입니다.

3. 🛡️ '안전장비'를 착용한 작업자

이 시스템의 가장 큰 특징은 **수학적 보장 (Conformal Guarantees)**입니다.

• 기존 AI: "내가 99% 확신해!"라고 말하지만, 실제로는 50% 만 맞을 수도 있습니다. (과신)
• PoP: "이 답이 틀릴 확률이 10% 이하다"라고 수학적으로 약속합니다.
  • 만약 100 번 중 10 번은 틀릴 수 있다면, AI 는 "모든 가능한 답을 100 개 정도 모아두겠다"고 합니다.
  • 이렇게 하면 실제 정답이 그 목록 안에 들어갈 확률을 90% 이상으로 보장받습니다.

이는 마치 건설 현장의 안전장비와 같습니다.

• 기존 방식은 "다리가 튼튼할 거야"라고 믿고 건너는 것입니다.
• PoP 는 "다리가 튼튼할 확률이 90% 이상인지 확인하고, 아니면 안전줄을 더 늘려서 (계산 추가) 다시 점검한다"는 식으로 작동합니다.

---

📊 실제 성과: 더 똑똑하고, 더 저렴하게

이 시스템을 문서, 차트, 여러 장의 사진을 보는 테스트에 적용한 결과는 놀라웠습니다.

1. 정답률 상승: 기존 AI 들보다 더 많은 문제를 맞췄습니다.
2. 할루시네이션 감소: 엉뚱한 소리를 하는 경우가 27~45% 나 줄어든 것으로 나타났습니다. (탐정이 실수하지 않게 된 셈입니다.)
3. 비용 효율성: 불필요한 작업을 줄여서, 같은 성능을 내는데 계산 비용 (시간/전력) 을 더 적게 들였습니다.

💡 요약

**'지각의 증명 (PoP)'**은 AI 에게 다음과 같은 능력을 심어줍니다:

1. 확신하지 않으면 답을 내지 않기: "모를 때는 여러 후보를 남겨두자."
2. 불확실한 곳에만 집중하기: "확실한 건 그냥 지나가고, 어려운 부분만 다시 확인하자."
3. 실수를 수학적으로 보장하기: "이 답이 틀릴 확률은 이 정도 이하야."

이 기술은 AI 가 복잡한 문서나 차트를 분석할 때, 인간처럼 신중하게 사고하고, 실수를 줄이며, 효율적으로 일할 수 있게 해주는 획기적인 방법입니다.

기술 요약

1. 문제 정의 (Problem)

다중 모달 대형 언어 모델 (MLLM) 은 문서 이해, 차트 추론, 다중 이미지 질문 응답 (QA) 과 같은 복잡한 시각 - 언어 작업에서 큰 진전을 이루었지만, 여전히 다음과 같은 근본적인 한계를 가지고 있습니다.

• 취약한 단일 값 추론: 기존 방법론 (Chain-of-Thought, ReAct 등) 은 중간 단계 (OCR, 객체 감지, 차트 파싱 등) 에서 단일 값 (single-valued) 추측에 의존합니다. 초기의 작은 지각 오류가 추론 과정에 전파되어 최종 답변의 신뢰성을 떨어뜨립니다.
• 할루시네이션 (Hallucination): 모델이 시각적 증거 없이도 자신감 있게 잘못된 답변을 생성하는 문제가 빈번합니다.
• 비체계적인 계산 자원 할당: 계산 비용 (Tool 호출 횟수 등) 이 고정된 휴리스틱이나 임의의 규칙에 의해 결정되어, 불확실성이 높은 단계에서는 추가 자원이 부족하고, 확신 있는 단계에서는 불필요한 자원이 낭비되는 비효율이 발생합니다.
• 불확실성 정량화 부재: 기존 접근법은 최종 답변에 대한 신뢰도만 평가할 뿐, 각 추론 단계 (노드) 의 신뢰성을 보장하거나 이를 계산 정책에 반영하지 못합니다.

2. 방법론 (Methodology)

저자들은 Proof-of-Perception (PoP) 을 제안합니다. 이는 다중 모달 추론을 합의된 신뢰도 (Conformal Certificates) 를 가진 실행 가능한 방향성 비순환 그래프 (DAG) 로 변환하는 프레임워크입니다.

2.1. 핵심 구성 요소

1. 추론 그래프 (Reasoning Graph):

   • 작업은 OCR, 감지 (Detection), 차트 파싱, 논리 융합 (Logic Fusion) 등의 노드로 구성된 DAG 로 표현됩니다.
   • 각 노드는 외부 도구 (Tool) 를 호출하거나 MLLM 내부에서 정보를 융합하는 역할을 수행합니다.

2. 노드별 합동 예측 (Node-Level Conformal Prediction):

   • 각 노드 $t$는 입력 $x$에 대해 점 예측이 아닌 합동 집합 (Conformal Set) $\Gamma^{(t)}_\delta(x)$를 출력합니다.
   • 비합의성 점수 (Nonconformity Score): $s^{(t)}(x, z)$를 학습하여 예측된 후보 $z$가 얼마나 '이상한지' 측정합니다.
   • 임계값 설정: 분할 합동 예측 (Split Conformal Prediction) 을 사용하여, 검증 데이터셋에서 비합의성 점수의 분위수 임계값 $\tau^{(t)}_\delta$를 계산합니다.
   • 출력: $s^{(t)}(x, z) \le \tau^{(t)}_\delta$를 만족하는 모든 후보 $z$의 집합을 출력합니다. 이는 마진 커버리지 (Marginal Coverage) $1-\delta$를 보장합니다 (즉, 정답이 이 집합에 포함될 확률이 $1-\delta$ 이상임).

3. 적응형 컨트롤러 (Adaptive Controller):

   • 각 노드의 합동 집합 크기, 불확실성 정도, 그리고 남은 계산 예산 (Budget) 을 관찰합니다.
   • 행동 결정:
     • ACCEPT: 불확실성이 낮으면 현재 집합을 수용하고 다음 단계로 진행.
     • RETRY: 고해상도 이미지 크롭이나 다른 도구 파라미터로 재시도.
     • EXPAND: 추가적인 도구 호출이나 하위 노드를 그래프에 추가하여 추론 확장.
     • ABORT: 예산 내에서 해결 불가능하다고 판단 시 중단.
   • 이 컨트롤러는 불확실성을 수동 점수가 아닌 계산 정책 (Compute Policy) 으로 변환하여, 불확실한 단계에는 자원을 집중하고 확신 있는 단계는 조기에 종료합니다.

4. 자기 플레이 (Self-Play) 및 역예제 마이닝:

   • 학습 중에는 학생 모델과 적대적 모델 (Adversary) 이 상호작용하며, 레이아웃 왜곡, 폰트 변경, 노이즈 주입 등의 변형된 데이터를 생성합니다.
   • 이러한 어려운 사례 (Counterexamples) 를 캘리브레이션 풀에 추가하여, 실제 환경의 분포 변화 (Distribution Shift) 에도 강건한 임계값을 학습합니다.

3. 주요 기여 (Key Contributions)

• 합의된 신뢰도 보장: 다중 모달 추론의 각 단계 (노드) 에 대해 분산-free, 유한 샘플 기반의 신뢰도 보장을 제공합니다.
• 계산 효율성: 불확실성 기반의 적응형 컨트롤러를 통해 불필요한 도구 호출을 줄이고, 정확도와 계산 비용 간의 원칙적인 트레이드오프 (Accuracy-Compute Trade-off) 를 가능하게 합니다.
• 할루시네이션 감소: 답변을 검증 가능한 지각 증거 (Perceptual Traces) 에 기반하게 하여, 근거 없는 답변 생성을 방지합니다.
• 범용성: 기존 MLLM 과 도구 (OCR, 감지기 등) 와 호환되며, 단일 모델 아키텍처 변경 없이 적용 가능합니다.

4. 실험 결과 (Results)

문서 (DocVQA, TextVQA), 차트 (ChartQA), 다중 이미지 (MultiDoc2Dial) QA 벤치마크에서 기존 강력한 베이스라인 (Chain-of-Thought, ReAct, Program-of-Thought) 과 비교 평가되었습니다.

• 성능 향상: PoP 는 모든 데이터셋에서 정확도 (EM, F1) 를 향상시켰으며, 특히 할루시네이션 비율을 27~45% 감소시켰습니다.
• 신뢰도 보장: 목표한 90% 커버리지 ($\delta=0.1$) 를 각 노드 유형 (OCR, 감지, 차트, 논리) 에서 일관되게 달성했습니다 (예: OCR 90.7%, 감지 91.3%).
• 계산 효율성: 동일한 정확도를 달성하는 데 기존 방법보다 25% 적은 계산 자원을 사용했습니다. 또한, 예산이 증가함에 따라 정확도가 포화되는 시점을 컨트롤러가 자동으로 감지하여 불필요한 확장을 중단했습니다.
• 강건성: 폰트 변경, 클러터, 기하학적 왜곡 등 인위적인 변형이 가해진 데이터셋에서도 성능이 점진적으로만 저하되는 (Graceful Degradation) 강건성을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 다중 모달 AI 시스템의 신뢰성 (Reliability) 과 효율성 (Efficiency) 문제를 동시에 해결하는 새로운 패러다임을 제시합니다.

• 검증 가능한 추론: 모델이 "무엇을" 답했는지뿐만 아니라, "어떤 증거와 불확실성 범위 내에서" 답했는지를 명시적으로 보여줍니다.
• 지능형 자원 관리: 단순한 휴리스틱을 넘어, 불확실성 정량화를 기반으로 동적으로 계산 자원을 할당하는 메커니즘을 도입했습니다.
• 실제 적용 가능성: 문서 분석, 차트 이해, 복잡한 시각적 QA 등 고신뢰도가 요구되는 실제 응용 분야에서 모델의 오류를 줄이고 비용을 절감할 수 있는 실용적인 프레임워크를 제공합니다.

결론적으로, Proof-of-Perception 은 MLLM 이 단일 값 추측에 의존하는 것을 넘어, 확률론적 보장을 갖춘 단계별 추론을 수행하도록 함으로써 AI 시스템의 신뢰성과 실용성을 크게 높였습니다.