기술 요약: CitizenQuery 벤치마크

문제 정의

정부 정책, 서비스 및 안내(예: 혜택, 세금, 이민)와 관련된 공공의 질문인 "시민 질의(Citizen queries)"는 대규모 언어 모델(LLM)의 고위험 활용 사례를 나타냅니다. LLM은 맥락을 인식하고 접근 가능하며 신속한 정보 서비스를 제공할 잠재력을 가지고 있지만, 공공 부문에서의 배포는 환각(hallucination)과 잘못된 정보 전달의 위험으로 인해 저해됩니다. 시민 질의에 대한 부정확한 응답은 그러한 조언에 의존하는 개인에게 심각하고 종종 눈에 보이지 않는 부정적인 파급 효과를 초래할 수 있습니다. 현재는 시민 질의 맥락에서 LLM의 성능을 측정하기 위해 설계된 표준화된 벤치마크 데이터셋이나 평가 스위트가 부족하여, 정부와 이해관계자들이 공공 서비스 내 AI 통합의 신뢰성을 평가하는 데 어려움을 겪고 있습니다.

방법론

데이터셋 큐레이션: CitizenQuery-UK

저자들은 22,066개의 합성 시민 질의-응답 쌍으로 구성된 새로운 벤치마크 데이터셋인 CitizenQuery-UK를 소개합니다.

• 소스 자료: 이 데이터셋은 벤치마크의 단일 권위적 진실 근거 역할을 하는 gov.uk(영국 공식 정부 웹사이트)의 텍스트 정보로부터 전적으로 파생되었습니다.
• 생성 과정:
  • 코퍼스 구축: 2,781개의 gov.uk 페이지를 스크래핑하여 3계층 분류 체계(홈 페이지 $\rightarrow$ 도메인 $\rightarrow$ 하위 도메인)로 조직했습니다.
  • 질의 합성: 자연스러운 구사력을 보장하기 위해, 질의 생성은 온라인 공공 포럼(주로 Reddit)의 실제 데이터를 기반으로 하여, 일반적인 합성 생성에서 나타나는 무미건조한 문구 대신 구어체적이고 맥락이 풍부한 사용자 입력을 모방했습니다.
  • 모델: 특정 페르소나(연령, 교육 수준, 디지털 리터러시, 직업, 소득, 지역에 따라 다양함)와 메타데이터를 조건으로 하여 Q&A 쌍을 생성하기 위해 Qwen 2.5 72B-Instruct 모델이 사용되었습니다.
  • 품질 보증: 세 명의 주석가가 계층화된 샘플을 검토하는 엄격한 인간 주석 프로토콜을 통해 생성 프롬프트를 정제하여, 응답이 사실에 근거하고 접근 가능하도록 보장했습니다. 독성 및 편향 점수는 Cleanlab Studio를 통해 생성되었으나, 핵심 목표와는 크게 무관한 것으로 판단되었으며 독성은 낮은 수준을 유지했습니다.
• 데이터셋 구조: 데이터셋은 16개 주요 도메인 내 139개 하위 도메인을 포함합니다. 프롬프트는 절차적, 지시적, 정보적 또는 비교적 유형으로 분류됩니다. 각 항목에는 질의, 예상 답변(Ground Truth), 그리고 광범한 메타데이터가 포함됩니다.

평가 파이프라인

저자들은 FActScore와 SAFE 아키텍처에서 채택한 방법론을 변형한 평가 방법론을 제안하며, 이는 세 가지 주요 구성 요소로 이루어집니다:

1. 기권 탐지 (Abstention Detection, AB):

   • 미세 조정된 분류기(LibrAI/longformer-action-ro)를 사용하여 모델이 질의에 대해 답변을 거부하거나 답변할 수 없는지 식별합니다.
   • 저자들은 정부의 조언에서 면책 조항(disclaimers)이 표준적이고 권장되는 사항임을 인정하여, "면책 조항"(라벨 3)을 기권이 아닌 '통과'로 처리하도록 표준 주석 체계를 수정했습니다.
   • 오탐지를 최소화하기 위해 신뢰도 임계값($AB_{th} = 0.925$)을 적용합니다.

2. 원자적 사실 생성 (Atomised Fact Generation, AFG):

   • 예상 응답($a_i$)과 모델이 생성한 응답($\hat{a}_i$)을 모두 원자적 사실/주장 단위로 분해합니다.
   • 문장을 세밀하고 검증 가능한 구성 요소로 나누기 위해 지시어 튜닝된 LLM($M_{AFG}$)을 사용하는 검색 기반 퓨샷(few-shot) 프롬프팅 전략을 사용합니다.
   • 기준점을 고정하기 위해 그라운드 트루스에 대한 원자적 사실은 사전 계산됩니다.

3. 원자적 사실 검증 (Atomised Fact Verification, AFV):

   • LLM-as-a-judge($M_{AFV}$)를 사용하여 모델의 주장이 그라운드 트루스 사실에 의해 뒷받침되는지 검증합니다.
   • 지표:
     • F1@K: 그라운드 트루스 사실($K$)에 대한 정밀도(precision)와 재현율(recall)의 조화 평균을 계산합니다. 이는 모델의 중복(사실 반복)과 과도한 장황함을 처벌하고 정보 밀도를 보상합니다.
     • 장황도 ($\Delta K$): 모델이 생성한 주장 수($\hat{K}$)와 그라운드 트루스의 주장 수($K$) 사이의 차이를 측정합니다. 양수 값은 과잉 생성을, 음수 값은 누락을 나타냅니다.

주요 결과

본 벤치마크는 11개의 LLM(Llama, Claude, Gemini, Qwen, OpenAI 제품군 포함)을 제로샷(Zero-Shot) 및 퓨샷(Few-Shot) 조건 하에서 평가했습니다.

• 성능 프로필:

  • 사실성: 중앙값 F1@K 점수는 일반적으로 높았으나(종종 >0.90), 평균 점수는 중앙값보다 낮게 나타나, 이는 성능 저하의 "롱테일(long tail)"과 높은 변동성을 드러냅니다(표준 편차는 0.18에서 0.36 사이).
  • 모델 제품군: 폐쇄형 모델인 Claude-4.5-Haiku는 높은 정확도를 보였으나 높은 장황함도 함께 나타났습니다. 오픈 웨이트 모델(예: Qwen3-32B, Llama-3.3-70B)은 폐쇄형 모델과 경쟁력 있는 성능을 보였습니다. Kimi-K2-Instruct는 낮은 사실성과 더 높은 기권율을 보였습니다.
  • 퓨샷의 영향: 예상과 달리, 퓨샷 예시를 제공하는 것은 일반적으로 평균 F1@K 점수를 감소시키고 변동성을 증가시키는 한편, 장황함은 약간 감소시켰습니다. 일부 사례에서는 모델이 정보를 적게 생성했지만, 그 정보는 사실적 근거가 덜했습니다.

• 주요 행동적 발견:

  • 낮은 기권율: 모델은 불확실한 상황에서도 답변을 거부하는 경우가 드물었습니다(비율 <1.5%).
  • 높은 장황함: 모델은 일관되게 정보를 과잉 생성했습니다($\Delta K$가 양수이며 유의미함, 예: Zero-Shot에서 Claude-4.5-Haiku의 경우 +16.63).
  • 변동성: 높은 표준 편차는 모델이 자주 정답을 맞히더라도 그 실패 양상이 예측 불가능함을 시사하며, 이는 신뢰성 위험을 초고합니다.

의의 및 주장

본 논문은 CitizenQuery-UK가 시민 질의 작업에서 LLM의 신뢰성을 평가하기 위한 최초의 증거 기반 프레임워크를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

1. 공공 부문 도입을 위한 근거: 이론적 가정을 넘어 측정된 성능을 통해, 정부가 AI 통합 전 정확성을 평가할 수 있는 메커니즘을 제공합니다.
2. "장황함 vs 신뢰성" 트레이드오프 강조: 결과는 현재의 LLM이 불확실성을 인정하기보다 정보를 생성하는 것을 우선시함을 시사합니다. 고위험 시민 질의에서 이러한 "말하기를 좋아하는 성향"과 높은 변동성의 결합은 사용자가 부정확하거나 오래된 정보를 과신하게 만드는 위험을 초래합니다.
3. 인지된 취약성(Fallibility)에 대한 촉구: 저자들은 공공 부문의 신뢰할 수 있는 AI를 위해서는 단순히 정보를 과잉 생성하는 것이 아니라, 자신의 한계를 인정할 수 있는 모델이 필요하다고 주장합니다.
4. 미래 거버넌스의 토대: 전적으로 공개 데이터에 기반하여 구축된 이 벤치마크는 공공 부문의 AI 관련 정책 및 조달 결정을 안내할 수 있는 중앙 집중식 평가 스위트의 기초를 마련합니다.

저자들은 LLM이 유망한 모습을 보이지만, 현재의 높은 변동성과 과잉 생성 경향은 신뢰성 및 불확실성을 인정하는 메커니즘의 상당한 개선 없이는 직접적인 배포에 부적합하게 만든다고 결론짓습니다.