Assessing Web Search Credibility and Response Groundedness in Chat Assistants

1. 연구 배경 및 문제 제기 (Problem)

최근 대규모 언어 모델 (LLM) 기반의 채팅 도우미는 웹 검색 기능을 통합하여 외부 소스를 검색하고 인용함으로써 더 정확한 답변을 제공하려는 시도를 하고 있습니다. 그러나 이 기능은 새로운 위험을 초래합니다.

• 가짜 뉴스 증폭: 도우미가 신뢰할 수 없는 출처 (저신뢰도 소스) 에서 정보를 검색하여 인용할 경우, 오히려 허위 정보 (Misinformation) 를 증폭시킬 수 있습니다.
• 문맥적 취약성: 특히 건강, 기후 변화, 정치적 논쟁 등 민감한 주제나, 사용자가 허위 전제를 가진 질문 (False Presuppositions, 예: "이 가짜 뉴스에 대해 더 알려줘") 을 할 때, AI 가 저신뢰도 소스를 더 많이 인용할 가능성이 있습니다.
• 기존 연구의 한계: 기존 연구는 주로 검색된 소스의 신뢰성이나 응답의 사실성 (Groundedness) 을 별개로 평가했습니다. 즉, "출처가 신뢰할 수 있는가?"와 "답변이 인용된 출처에 근거하고 있는가?"를 동시에 분석하여, 신뢰할 수 없는 소스에 근거한 답변이 얼마나 발생하는지를 체계적으로 평가하는 연구는 부족했습니다.

2. 연구 방법론 (Methodology)

저자들은 웹 검색이 활성화된 채팅 도우미의 행동을 평가하기 위해 3 단계로 구성된 새로운 평가 프레임워크를 제안했습니다.

1 단계: 데이터 수집 및 시나리오 설계 (Data Collection)

• 주제: 오해와 허위 정보에 취약한 5 가지 주제 (건강, 기후 변화, 러시아 - 우크라이나 전쟁, 미국 정치, 지역 이슈) 에서 100 개의 사실 확인 가능한 주장 (Claims) 을 선정했습니다.
• 사용자 역할 시뮬레이션: 두 가지 사용자 유형으로 프롬프트를 구성하여 검색 행동의 차이를 분석했습니다.
  • Fact-Checker (사실 확인자): 주장의 진위를 검증하려는 역할.
  • Claim Believer (주장 신봉자): 허위 정보를 사실로 믿고 이를 뒷받침하는 정보를 찾으려는 역할 (Sieker et al., 2025 의 연구에 기반).
• 대상 모델: GPT-4o, GPT-5, Perplexity, Qwen Chat.

2 단계: 출처 신뢰성 분석 (Source Credibility Analysis)

• 인용된 도메인의 신뢰도를 Media Bias/Fact Check (MBFC) 및 사실 확인 기관 목록을 기반으로 평가했습니다.
• 지표:
  • Credibility Rate (CR): 신뢰할 수 있는 소스 (매우 높음, 높음, 대부분 사실) 의 비율.
  • Non-Credibility Rate (NCR): 저신뢰도 소스 (낮음, 매우 낮음, 풍자) 의 비율.

3 단계: 응답 근거성 평가 (Groundedness Evaluation)

• 응답이 인용된 소스에 실제로 근거하고 있는지 분석합니다.
• 프로세스:
  1. 단위 추출 (Unit Extraction): 응답을 사실적 진술 (Atomic Units) 로 분해.
  2. 맥락 제거 (Decontextualization): 대명사 등을 해결하여 독립적인 진술로 변환.
  3. 증거 검색 및 판단: 인용된 소스 내에서 해당 진술을 지지하는지 (Supported), 반대하는지 (Contradicted), 확인 불가 (Unverifiable) 인지를 LLM (Llama 3.3 70B) 을 통해 판단.
• 핵심 차별점: 기존 평가와 달리, 출처의 신뢰도 (신뢰할 수 있음/없음) 를 근거성 평가에 통합했습니다. 이를 통해 "신뢰할 수 없는 소스에 근거한 답변"을 식별할 수 있습니다.
  • Groundedness Score (GS): 모든 인용 소스에 근거한 비율.
  • Credible Groundedness (CG): 신뢰할 수 있는 소스에 근거한 비율.
  • Non-Credible Groundedness (NCG): 저신뢰도 소스에 근거한 비율.

3. 주요 기여 (Key Contributions)

1. 새로운 평가 방법론 제안: 웹 검색 기반 채팅 도우미에 대해 출처 신뢰성과 응답 근거성을 동시에 분석하는 통합 프레임워크를 최초로 제시했습니다. 이는 사실성만 평가할 때 놓칠 수 있는 "신뢰할 수 없는 소스에 기반한 일관된 답변"이라는 실패 모드를 발견하게 합니다.
2. 체계적 비교 분석: 사실 확인 시나리오에서 웹 검색을 사용하는 주요 채팅 도우미 (GPT-4o, GPT-5, Perplexity, Qwen Chat) 의 검색, 인용, 근거화 행동을 최초로 체계적으로 비교 분석했습니다.
3. 프레이밍 효과 규명: 사용자의 질문 방식 (Fact-Checker vs Claim Believer) 이 검색된 소스의 신뢰도와 응답의 근거성에 미치는 영향을 실증적으로 입증했습니다.

4. 주요 결과 (Key Results)

4.1 출처 신뢰성 (Source Credibility)

• Perplexity: 전체적으로 가장 높은 신뢰도 (평균 CR 약 86%) 와 가장 낮은 저신뢰도 소스 의존도 (NCR 약 0.7%) 를 보였습니다. 소스 선택이 매우 신중했습니다.
• GPT-4o & GPT-5: 더 넓은 범위의 도메인을 검색하여 주제 커버리지는 높았으나, 저신뢰도 소스를 인용할 확률이 상대적으로 높았습니다. 특히 러시아 - 우크라이나 전쟁과 같은 민감한 주제에서 GPT-4o 는 저신뢰도 소스 인용률이 4.55% 로 가장 높았습니다.
• Qwen Chat: 전반적인 신뢰도는 중간 수준이었으나, 일관성이 부족했습니다.
• 사용자 프레이밍 영향: "Claim Believer" 역할의 질문은 "Fact-Checker" 질문보다 저신뢰도 소스를 더 많이 인용하게 만들었습니다 (특히 OpenAI 모델에서 두드러짐).

4.2 응답 근거성 (Groundedness)

• 전체 근거성: 모든 도우미가 인용된 소스에 근거하여 답변하는 능력은 높았습니다 (평균 GS 74~86%).
• 신뢰할 수 있는 근거성 (Credible Groundedness): Perplexity 가 가장 일관되게 신뢰할 수 있는 소스에 근거한 답변을 제공했습니다. 반면 Qwen Chat 은 저신뢰도 소스를 인용할 경우, 그 답변의 상당 부분 (약 60%) 이 해당 저신뢰도 소스에 의존하는 취약한 구조를 보였습니다.
• GPT-5 Thinking Mode: GPT-5 의 '생각 (Thinking)' 모드가 자동 활성화된 경우, 신뢰도 (CR) 가 69.8% 에서 85.8% 로 크게 향상되었고, 저신뢰도 소스 의존도는 2.2% 에서 0.4% 로 감소했습니다. 이는 추론 과정이 검색 리스크를 완화할 수 있음을 시사합니다.

4.3 주제별 취약성

• 러시아 - 우크라이나 전쟁: 모든 도우미에서 저신뢰도 소스 (특히 러시아 선전 매체) 인용이 가장 빈번하게 발생했습니다.
• 지역 이슈 (Local): Qwen Chat 이 지역 관련 주장에서 가장 낮은 신뢰도를 보였습니다.

5. 연구의 의의 및 시사점 (Significance)

• 신뢰성 평가의 패러다임 전환: 단순히 "답변이 사실인가?"를 넘어, "어떤 소스에 근거했는가?"를 함께 평가해야 함을 강조합니다. 인용된 소스가 신뢰할 수 없다면, 답변이 논리적으로 일관되더라도 사용자에게 오해를 불러일으킬 수 있기 때문입니다.
• 안전 장치의 필요성: 웹 검색 기반 AI 는 검색 엔진의 품질뿐만 아니라, 신뢰성 인식 (Credibility-aware) 근거화 메커니즘과 엄격한 소스 필터링이 필요함을 시사합니다.
• 사용자 프레이밍의 중요성: 사용자가 질문을 어떻게 구성하느냐에 따라 AI 의 검색 결과가 달라질 수 있으므로, 시스템 설계 시 이러한 프레이밍 공격 (Framing Attack) 에 대한 내성이 강화되어야 합니다.
• 향후 방향: 고위험 정보 환경 (Health, Politics 등) 에서 AI 시스템의 신뢰성을 보장하기 위해 사실 확인 리소스와의 긴밀한 통합이 필요함을 결론지었습니다.

이 연구는 웹 검색 기능이 통합된 AI 도우미가 사실 확인 (Fact-checking) 환경에서 어떻게 작동하는지, 그리고 어떤 상황에서 허위 정보를 증폭시킬 수 있는지에 대한 중요한 실증적 증거를 제공합니다.