💬 NLP

ProvenAI: Provenance-Native Traces of Evidence in Generated Answers

ProvenAI는 검색 증강 질의응답의 투명성을 높이기 위해 이를 정답 정확도, 인용 충실도, 문서별 영향력이라는 세 가지 독립적으로 측정 가능한 계층으로 분해함으로써, 인용된 출처와 실제로 모델 출력을 유도하는 근거 사이의 결정적인 격차를 드러내는 새로운 프레임워크를 도입한다.

원저자: Mohammad Faizan, Dalal Alharthi

게시일 2026-06-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mohammad Faizan, Dalal Alharthi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 매우 똑똑하고 박학다식한 사서에게 어려운 질문을 던진다고 상상해 보십시오. 이 질문에 답하기 위해 사서는 서가에서 열 권의 책을 집어 들어 읽은 뒤, 당신에게 답변을 작성해 줍니다. 답변 끝에 사서는 참조 문헌(References) 목록을 적지만, 실제로 읽은 열 권의 책 중 단 두 권만을 언급합니다.

ProvenAI는 바로 이 상황에서 정확히 어떤 일이 일어났는지 감사(audit)하기 위해 설계된 새로운 시스템입니다. 이 시스템은 다음과 같은 질문을 던집니다. 사서가 정말로 그 두 권의 책을 사용하여 답변을 썼는가? 아니면 언급되지 않은 나머지 여덟 권의 책이 몰래 이야기에 영향을 미쳤는가?

다음은 이 논문의 작동 방식을 일상적인 비유를 사용하여 쉽게 풀어낸 설명입니다.

1. 문제점: "가짜 인용"의 환상

AI의 세계에서 시스템은 자신이 근거 없는 말을 지어내지 않고 있다는 것을 증명하기 위해 출처(인용) 목록을 보여주곤 합니다. 하지만 이 논문은 인용 목록이 쇼핑 카트와 일치하지 않는 영수증과 같다고 주장합니다.

사서가 책 A와 책 B를 사용했다고 말한다고 해서, 반드시 그 책들이 이야기를 형성하는 데 기여했다는 뜻은 아닙니다.

현실: 사서는 (목록에 적지 않은) 책 C, D, E에 의해 강력한 영향을 받았을 수 있으며, 책 A와 B는 거의 훑어보기만 했을 수도 있습니다.
간극: 논문은 이를 **"인용-영향 간극(Citation-Influence Gap)"**이라고 부릅니다. 이는 AI가 사용했다고 주장하는 것(인용)과 AI가 답변을 형성하기 위해 실제로 의존한 것(영향) 사이의 차이를 의미합니다.

2. 해결책: ProvenAI의 3단계 감사

단순히 답변이 맞는지 확인하는 대신, ProvenAI는 자동차를 세 가지 다른 방식으로 점검하는 것처럼 투명성을 세 가지 별도의 계층으로 나눕니다.

계층 1: 답변이 정확한가? (목적지)
- 비유: 자동차가 실제로 올바른 주소에 도착했는가?
- 확인 내용: 최종 답변이 알려진 사실과 일치하는가?
계층 2: 인용이 정직한가? (영수증)
- 비유: 운전자가 영수증에 적힌 대로 주유소에 실제로 들렀는가?
- 확인 내용: AI가 인용한 책들에 실제로 주장하는 사실들이 포함되어 있는가?
계층 3: 무엇이 실제로 변화를 일으켰는가? (엔진)
- 비유: 만약 우리가 자동차를 분해하여 특정 엔진 부품 하나를 제거한다면, 자동차가 여전히 달릴 수 있는가?
- 확인 내용: 이것이 가장 독특한 부분입니다. 시스템은 AI의 답변을 가져와서 책 더미에서 특정 책 한 권을 제거한 뒤, AI에게 다시 답변을 작성하도록 요청합니다. 만약 답변이 바뀐다면, 그 책은 **영향력(influential)**이 있었던 것입니다. 만약 답변이 그대로라면, 그 책은 그저 "장식"에 불과했습니다.

3. "마술 쇼" 실험

연구진은 여러 문서에서 점들을 연결해야 하는 질문이 필요한 유명한 퍼즐 데이터셋인 HotpotQA를 통해 이를 테스트했습니다.

설정: 연구진은 7,405개의 질문에 대해 AI를 실행했습니다.
놀라운 결과: AI는 약 53%의 확률로 정답을 맞혔지만, 정답 출처를 인용하는 비율은 71%였습니다. 이는 AI가 정답을 찾는 데는 능숙할지 몰라도, 최종 문장을 쓰는 데 그 책들을 사용하는 데는 서툴렀음을 의미합니다.
"인용-영향 간극" 사례 연구:
- 연구진은 두 명의 영화 감독에 관한 특정 질문을 살펴보았습니다.
- AI는 두 권의 책을 완벽하게 인용했습니다. "영수증"은 100% 깨끗했습니다.
- 하지만, 인용된 책 중 하나를 제거했을 때 답변은 변하지 않았습니다.
- 또한, AI가 인용조차 하지 않은 다른 일곱 권의 책을 제거했을 때, 답변이 변했습니다.
- 결론: AI는 정답을 맞히기 위해 인용되지 않은 책들에 비밀리에 의존하고 있었으며, 인용된 책들은 그저 "겉치레(window dressing)"였던 것입니다.

4. 왜 이것이 중요한가 (전문 용어 없이)

이 논문은 우리가 AI를 신뢰하기 위해 단순히 하나의 점수(예: "정확도")만 봐서는 안 된다고 주장합니다. 우리는 전체 그림을 봐야 합니다:

정답을 맞혔는가?
올바른 출처를 나열했는가?
그 출처들이 실제로 핵심적인 역할을 했는가?

만약 1번과 2번만 확인한다면, AI를 신뢰할 수 있다고 생각할 수도 있습니다. 하지만 3번을 확인한다면, AI가 자신에게 알리지 않은 "유령" 문서들에 의해 실제로 움직이고 있다는 사실을 깨닫게 될 것입니다.

5. "블랙박스"의 한계

논문은 한 가지 작은 한계를 인정합니다. 영향력을 완벽하게 측정하려면 보통 AI의 내부 "사고 과정"(수학적 확률)을 볼 수 있어야 합니다. 이 시스템은 AI의 두뇌 내부를 볼 수 없었기 때문에, 책을 제거하기 전후의 최종 문장을 비교하는 영리한 우회 방법을 사용했습니다.

비유: 엔진의 내부 연소를 직접 듣는 대신, 부품을 제거했을 때 자동차가 다르게 움직이는지를 확인하는 방식입니다. 이는 내부를 들여다보는 것만큼 정밀하지는 않지만, 매우 훌륭한 추측 방법입니다.

요약

ProvenAI는 예쁜 인용 목록에 속지 않도록 돕는 도구입니다. 이는 AI에서 인용된 것이 반드시 사용된 것은 아니다라는 점을 입증합니다. 출처를 제거했을 때 어떤 일이 발생하는지 테스트함으로써, 답변을 실제로 주도하고 있는 기계 속의 숨겨진 "유령"들을 밝혀냅니다.

기술 요약: ProvenAI

문제 정의
검색 증강 생성(RAG) 시스템은 사실적 근거를 확립하기 위해 생성된 답변과 함께 인용을 제공합니다. 그러나 본 논문은 인용의 존재가 인용된 출처가 출력을 실질적으로 형성했음을 보장하지는 않는다고 주장합니다. 현재의 평가 지표들은 정답의 정확성, 인용 충실도, 그리고 자원 영향력을 단일 점수로 통합하여 중요한 진단 정보를 가리는 경우가 많습니다. 구체적으로, 모델은 올바른 출처를 인용하면서도 인용되지 않은 검색 컨텍스트에 의해 답변이 유도될 수 있으며, 혹은 올로한 답변을 생성하면서도 부적절한 출처를 인용할 수도 있습니다. 이러한 "인용된" 증거와 "영향력을 미친" 증거 사이의 간극은 책임 추적이 필요한 보안 및 포렌식 응용 분야에서 특히 문제가 됩니다.

방법론
ProvenAI는 새로운 생성 모델이 아니라, 다단계 추론(multi-hop QA)에서의 투명성을 세 가지 독립적으로 측정 가능한 계층으로 분해하도록 설계된 측정 인프라입니다. 이 시스템은 HotpotQA distractor 벤치마크를 기반으로 7단계 파이프라인을 통해 작동합니다:

데이터 정규화: HotpotQA 기록을 안정적인 로컬 아티팩트(JSONL)로 변환하고 509,300개의 구절로 구성된 정형 검색 코퍼스를 구축합니다.
검색 및 생성: 밀집 구절 검색(all-MiniLM-L6-v2 임베딩을 사용한 FAISS)과 로컬 추론 경로(Qwen2.5-3B-Instruct)를 사용하여 인라인 태그가 포함된 인용 인식 답변을 생성합니다.
인용 감사: 인용된 제목이 골드(gold) 지원 사실과 Jaccard 유사도를 통해 일치하는지 평가합니다.
영향력 추정: "하나의 자원을 제외하는(leave-one-resource-out)" 어블레이션 전략을 적용합니다. 각 검색된 문서 $r_i$ 에 대해, 시스템은 $r_i$ 없이 답변과 인용 세트를 재생성하여 출력의 변화를 측정합니다.
판정 할당: 문서는 인용 상태와 영향력 프록시 $\phi(r_i)$ $ϕ (r_{i})$ 를 결합한 측정 함수 $V$ $V$ 에 따라 네 가지 범주로 분류됩니다:
- USED (사용됨): 인용되었으며 영향력을 미침.
- HALLUCINATED CITATION (환각 인용): 인용되었으나 영향력을 미치지 않음.
- UNCITED INFLUENTIAL (미인용 영향력): 인용되지 않았으나 영향력을 미침.
- LOW INFLUENCE (낮은 영향력): 인용되지 않았고 영향력도 미치지 않음.

핵심 기술 구성 요소

인용 충실도: 인용된 제목과 골드 지원 제목 간의 토큰 세트 Jaccard 유사도로 측정하며, 정확 매칭( $\tau=1$ )과 의미적 매칭( $\tau=0.34$ ) 하에서 모두 평가됩니다.
영향력 프록시: 로컬 추론 백엔드(MLX)가 직접적인 KL-divergence 계산에 필요한 토큰별 확률을 노출하지 않기 때문에, 시스템은 표면적 프록시 $\phi(r_i)$ 를 사용합니다. 이 프록시는 원래의 답변 문자열과 어블레이션된 답변 문자열 간의 Jaccard 거리( $\Delta a$ )와 인용 세트 간의 Jaccard 거리( $\Delta c$ )를 각각 0.8/0.2의 가중치로 합산합니다.
이론적 근거: 본 논문은 이 표면적 프록시와 토큰 수준의 KL-divergence 목표 사이의 관계를 공식화합니다. 명제 1은 결정론적 디코딩에 가까운 조건 하에서, 0이 아닌 답변 변화( $\Delta a > 0$ )가 엄격하게 양수인 KL 시프트를 인증하므로, 이 프록시가 분포적 변위(distributional displacement)의 타당한(단, 단방향적인) 지표임을 입증합니다.
추적 가능성: 시스템은 Model Context Protocol(MCP)을 통합하여 자원 접근의 트레이스 그래프를 기록함으로써, 검색된 아티팩트와 생성 과정을 연결합니다.

결과
HotpotQA distractor 분할의 7,405개 검증 사례를 대상으로 평가한 결과, ProvenAI는 다음과 같은 종합 지표를 산출합니다:

답변 정확도: 53.53%
평균 인용 충실도: 71.55%

인용 충실도와 답변 정확도 사이의 현저한 18%p 격차는 모델이 최종 답변 문자열이 틀리더라도 올바른 지원 제목을 식별하고 인용할 수 있음을 보여줍니다. 반대로, 시스템은 답변은 정답이지만 인용 세트는 저하된 경우를 식별해 냅니다.

본 논문은 사례 연구(Scott Derrickson / Ed Wood 국적 관련)를 통해 특정한 "인용-영향력 간극(citation-influence gap)"을 강조합니다. 이 예시에서 모델은 완벽한 인용 감사( $F_\tau = 1.0$ )를 달 기록했으나, 어블레이션 결과 하나의 인용된 소스는 약한 영향력을 보였던 반면, 7개의 인용되지 않은 소스들이 명백하게 출력을 변화시킨다는 것이 드러났습니다. 이는 관찰 가능한 인용 세트와 경험적 민감도 프로필이 실질적으로 다를 수 있음을 확인시켜 줍니다.

의의 및 주장
본 논문은 검색 기반 QA에서의 의미 있는 투명성을 달성하기 위해서는 검색된 증거, 인용된 증거, 그리고 행동적으로 영향력을 미치는 증거라는 세 가지 별개의 계층을 가로지르는 추적 가능한 연결이 필요하다고 주장합니다.

투명성의 분해: 주요 기여는 투명성을 세 가지 독립적인 계층으로 운영화한 것이며, 이를 통합하는 것은 필수적인 진단 정보를 버리는 것이라고 주장합니다.
인용-영향력 간극: 본 연구는 깨끗한 인용 감사와 복잡한 영향력 프로필(인용되지 않은 컨텍스트에 의해 유도됨)이 공존하는 특정 실패 모드를 규명합니다.
프로비넌스 네이티브 추론: 프레임워크는 측정 기반 감사를 암호학적 프로비넌스 아키텍처와 연결합니다. 저자들은 자율적 과학 발견을 위해 감사 추적(audit trail)이 단순히 인용된 문서가 검색되었음을 검증하는 것(암호학적 무결성)뿐만 아니라, 출력이 실제로 해당 문서에 민감하게 반응했는지(행동적 민감도)를 검증해야 한다고 주장합니다.
한계점: 저자들은 현재의 영향력 추정이 로컬 백엔드의 토큰별 로짓(logits) 부재로 인해 표면적 프록시에 의존하고 있다는 점과, 현재 속성이 문장 수준의 함의(entailment)보다는 문서-제목 수준으로 제한되어 있다는 점을 겸허히 언급합니다.

ProvenAI는 현재의 인용 메커니즘이 영향력의 불충분한 대리 지표임을 입증하며, 모델이 무엇을 사용한다고 주장하는지와 실제로 무엇이 출력을 구동하는지 사이의 불일치를 측정할 수 있는 재현 가능한 파이프라인을 제공합니다.