"I Don't Know" -- Towards Appropriate Trust with Certainty-Aware Retrieval Augmented Generation

기술 요약: "모르겠습니다" – 확신 인식형 검색 증강 생성을 통한 적절한 신뢰 구축

문제 제기
본 논문은 대규모 언어 모델 (LLM) 을 포함한 AI 시스템에 대한 "적절한 신뢰"를 확립하는 과제를 다룹니다. LLM 은 인간 수준의 의사소통을 제공하지만, 사실적 오류가 포함된 환각 (hallucinations) 과 정확성을 희생하면서 사용자 선호도에 과도하게 동조하는 아첨 (sycophancy) 현상에 시달립니다. 중요한 문제는 LLM 이 질문이 객관적이지 않거나 맥락이 불충분한 경우에도 답변에 대해 과도한 확신을 표현한다는 점입니다. 이러한 과도한 확신은 사용자가 시스템의 진실성을 정확히 판단하는 것을 방해합니다. 저자들은 **자비 (benevolence)**라는 인간적 가치가 여기서 정의된 바와 같이 정직성, 신뢰성, 의존성에 대한 필요성을 충족받기 위해서는 AI 시스템이 자신의 지식을 모니터링하고 불확실성을 성찰하며, 이러한 자기 성찰을 사용자에게 전달할 수 있어야 한다고 주장합니다.

방법론
저자들은 답변에 자기 성찰된 확신을 통합하도록 설계된 특수한 검색 증강 생성 (RAG) 시스템인 CERTA(신뢰할 수 있는 답변을 위한 확신 강화 RAG) 를 제안합니다.

1. RAG 삼각형 확신 모델링:
   LLM 이 자신의 확신을 스스로 평가하는 방식 (편향될 수 있음) 에 의존하는 대신, CERTA 는 RAG 파이프라인의 세 가지 구성 요소 간의 의미적 유사성을 기반으로 불확실성을 계산합니다. 이를 RAG 삼각형이라고 합니다.

   • 질문 - 맥락 관련성 (QCR): 검색된 맥락이 사용자의 질문과 의미적으로 정렬되어 있는지 측정합니다.
   • 맥락 - 답변 관련성 (CAR): 생성된 답변이 검색된 맥락에 의해 뒷받침되는지 (근거 기반인지) 측정합니다.
   • 답변 - 질문 관련성 (AQR): 생성된 답변이 원래 질문을 의미적으로 다루고 있는지 측정합니다.

   이러한 점수는 OpenAI 의 text-embedding-3-small 임베딩에 대한 코사인 유사도를 사용하여 계산됩니다. 이후 이러한 수치 점수는 LLM 생성기에 제공되는 텍스트 형태의 "확신 지시문"으로 변환됩니다.

2. 시스템 접근법:
   본 논문은 OpenAI 의 GPT-4.1 과 Mistral-Small-3.1 두 가지 LLM 을 사용하여 네 가지 서로 다른 접근법을 평가합니다.

   • RAG (기선): 확신에 대한 특정 지시문 없이 표준 RAG 를 사용합니다.
   • CERTA-0: 답변의 확신에 대해 정직하도록 프롬프트에 일반적인 지시문을 추가합니다.
   • CERTA-1: 질문과 검색된 맥락 간의 관련성을 모델에 알리는 QCR 점수와 지시문을 프롬프트에 통합합니다.
   • CERTA-2: 다단계 접근법입니다. 먼저 중간 답변을 생성한 후 세 가지 삼각형 점수 (QCR, CAR, AQR) 를 모두 계산한 다음, 질문, 맥락, 중간 답변, 그리고 세 가지 확신 지시문을 모두 포함하여 모델에게 다시 프롬프트를 제공함으로써 최종 자기 성찰형 답변을 생성합니다.

3. 확신 벤치마크:
   이러한 방법들을 평가하기 위해 저자들은 TrustLLM 벤치마크에서 파생된 90 개의 질문 - 맥락 쌍으로 구성된 데이터셋을 만들었습니다. 이 데이터셋은 네 가지 범주를 다룹니다.

   • 사실성: 사실적 질문 (일부는 답변 불가).
   • 개인적 선호: 주관적 질문 (예: "무엇이 더 나은가?").
   • 아첨: 모델이 사용자의 명시된 (잠재적으로 결함이 있는) 견해에 동의하는지 테스트하도록 설계된 질문.
   • 도덕적 선택: 윤리적 딜레마.

   각 질문은 세 가지 유형의 맥락과 짝을 이룹니다: 관련성 있음(답변 포함), 불완전(구체적 답변 부재), 관련성 없음(답변 전혀 없음).

주요 기여

1. CERTA 시스템: RAG 삼각형을 활용하여 수치적 및 언어적으로 불확실성을 계산하고 전달하는 RAG 의 새로운 확장입니다. 여기에는 저확신 시나리오에서 사용자 행동 선택 (예: 기본 응답, "모르겠습니다", 또는 LLM 지식으로의 전환) 을 가능하게 하는 대시보드가 포함되어 있습니다.
2. 확신 벤치마크: 네 가지 가치 기반 범주와 세 가지 맥락 유형에 걸쳐 있는 90 개의 비객관적 질문 - 맥락 쌍으로 구성된 선별된 데이터셋으로, AI 가 적절하게 불확실성을 표현하는 능력을 테스트하도록 특별히 설계되었습니다.
3. 경험적 평가: 두 가지 서로 다른 LLM 을 사용하여 기선 RAG 와 세 가지 CERTA 구성을 비교한 연구입니다.

결과
실험 결과, CERTA 는 시스템 행동을 적절한 불확실성 방향으로 성공적으로 전환시켰습니다.

• "모르겠습니다" 빈도: 특히 맥락이 불완전하거나 관련성이 없을 때, CERTA-1 과 CERTA-2 는 기선 RAG 에 비해 "모르겠습니다" 응답을 훨씬 더 많이 생성했습니다.
• 사실성: 관련 맥락이 있는 경우 시스템은 적절하게 답변했습니다. 관련성이 없는 맥락의 경우, 기선 RAG 는 내부 지식을 사용하여 때때로 환각을 일으켰지만, CERTA 시스템은 엄격하게 객관성을 유지하고 불확실성을 표현했습니다.
• 개인적 선호: 기선 RAG 는 때때로 주관적 질문에 대해 확신 있는 답변을 제공했습니다. CERTA 접근법은 객관적 답변의 부재를 정확히 식별하고 "모르겠습니다"를 선택했습니다.
• 아첨 및 도덕성: 기선 RAG 와 CERTA 모두 직접적인 모순을 피했지만, CERTA 시스템은 반대 견해에 동의하거나 반대할 가능성이 더 낮았으며, 대신 더 빈번하게 "모르겠습니다"를 선택했습니다. CERTA 는 또한 맥락이 불완전한 경우 엄격한 도덕적 교훈을 피하며 도덕적 판단에서 더 신중함을 보였습니다.
• 모델 차이: 오픈 소스 Mistral 모델은 GPT-4.1 보다 내재적 불확실성이 더 많았지만, CERTA 는 두 모델 모두를 개선했습니다.
• 일관성: 확신 지시문의 추가는 시스템이 올바른 답변을 잘못된 답변으로 변경하게 하지 않았습니다. 대신 적절한 상황에서 신중한 응답 비율을 증가시켰습니다.

의의 및 주장
본 논문은 자기 성찰된 확신을 전달하는 것이 인간적 가치인 자비와 부합하며 AI 에 대한 적절한 신뢰를 구축할 수 있는 실현 가능한 메커니즘이라고 주장합니다. 저자들은 다음과 같이 결론 내립니다.

• CERTA-0은 확신에 관한 기본적인 정직성을 도입함으로써 기선 RAG 를 개선하는 데 종종 충분합니다.
• CERTA-1은 질문 - 맥락 관련성 점수를 명시적으로 활용함으로써 더 신중한 접근법을 제공합니다.
• 이 방법은 시스템이 환각을 일으키는 대신 불확실성을 인정함으로써 고위험 시나리오에서 "위험 회피적"이 될 수 있게 합니다.
• 이 접근법은 검색 메커니즘 자체가 아닌 제공된 맥락의 품질만 평가하므로 **검색기 무관 (retriever-agnostic)**합니다.

저자들은 대시보드가 실제 신뢰 보정을 측정하기 위해 인간 사용자를 대상으로 아직 검증되지 않았음을 지적하며 주장에 대해 겸손한 태도를 유지합니다. 그들은 다중 선택 형식의 사용이 인위적으로 아첨을 완화할 수 있다는 점과, 극단적인 값보다는 중간 범위 점수 (약 0.5) 를 생성하는 경향이 있는 코사인 유사도에 의존한다는 점과 같은 한계를 인정합니다. 향후 연구로는 사용자 연구와 더 많은 노이즈가 있는 데이터 소스를 통한 테스트가 제안됩니다.