기술 요약: 같은 질문, 다른 답변: 정확도를 넘어 LLM 신뢰성 평가하기

문제 정의

대규모 언어 모델(LLM)은 표준 벤치마크에서 높은 정확도를 보여주지만, 동일한 질문이 서로 다르지만 의미론적으로 동등한 방식으로 제시될 때의 신뢰성은 여전히 불분명합니다. 현재의 평가 관행은 단일 프롬프트 정확도에 의존하는 경우가 많으며, 이는 상당한 불안정성을 은폐할 수 있습니다. LLM의 강건성(robustness)에 관한 기존 연구들은 주로 얕은 섭동(예: 포맷 변경, 적대적 노이즈)이나 다지선다형 과업에 집중하여 출력의 가변성을 제한합니다. 또한, 집계된 정확도 지표는 인스턴스 수준의 변동을 가릴 수 있으며, 이전의 패러프레이징(paraphrase) 연구들은 생성된 변형 문구에서의 "의미 표류(meaning drift)" 문제로 어려움을 겪기도 했습니다. 본 연구는 개방형 생성 작업, 특히 사실적 질의응답 및 수학적 추론 분야에서 엄격하고 의미를 보존하는 패러프레이징 하에서 LLM이 어떻게 행동하는지에 대한 이해의 간극을 다룹니다.

방법론

저자들은 엄격하게 검증된 의미론적 동등 입력을 사용하여 LLM의 일관성을 평가하기 위한 통제된 프레임워크를 도입합니다.

1. 의미론적 동등 테스트 세트 구축

표면적 형태의 영향을 격리하기 위해, 본 연구는 3단계 검증 파이프라인을 사용하여 원래의 쿼리($Q_0$)에 대한 패러프레이즈 세트를 생성합니다:

• 통제된 생성: 고성능 모델(GPT-4.1-mini)이 의도와 제약 조건을 유지하면서 구조적 또는 스타일적 변화(예: 어조, 구문)를 유도하기 위해 경량화된 큐(cue)를 조건으로 하여 패러프레이즈를 생성합니다.
• 어휘 중복 필터링: 진정한 재진술(rephrasing)을 보장하기 위해 원래 문구와 어휘 중복도가 높은(>0.8) 후보는 폐기합니다.
• 이중 단계 의미 검증:
  • LLM 판별기가 패러프레이즈가 원래와 정확히 동일한 정보를 요청하는지 확인합니다.
  • NLI 기반 필터(facebook/bart-large-mnli)가 원본과 패러프레이즈 사이의 양방향 함의(entailment)를 체크합니다.
• 인간 검증: 패러프레이즈 쌍의 일부(1250개)를 인간이 주석을 달았으며, 의미적 동등성에 대해 9298%의 일치율을 달성하여 파이프라인의 엄격함을 확인했습니다.

2. 평가 프로토콜

• 모델: Llama-3, Qwen-2.5/3 제품군(0.6B에서 32B 파라미터 범위)을 포함한 오픈 웨이트 모델과 GPT-3.5, GPT-4o, GPT-4.1 변형을 포함한 독점 모델 등 13개의 모델을 평가했습니다.
• 데이터셋: 사실적 QA(SIMPLEQA, TRUTHFULQA)와 수학적 추론(GSM8K, MATH-500)을 다루는 4개의 벤치마크를 사용했습니다.
• 디코딩: 확률적 샘플링 노이즈가 아닌 모델의 내부 상태에 의한 가변성을 귀속시키기 위해 결정론적 디코딩(deterministic decoding)을 사용했습니다.
• 지표: 본 연구는 표준 정확도를 넘어 다음을 정의합니다:
  • 정확도 변형: 원본 정확도($A_{orig}$), 평균 패러프레이즈 정확도($A_{dist}$), 다수결 정확도($A_{MV}$).
  • 인스턴스 수준 안정성: 불일치율(Mismatch Rate, 원본과 다수결 결과 간의 불일치), 예측 반전율(Prediction Flip Rates, 방향성 불안정성), 비결정성(Non-Determinism, ND) 비율(다수의 서로 다른 레이블을 가진 세트의 비율).
  • 역량 경계:
    • 최대 역량 ($A_{any}$): 모델이 적어도 하나의 패러프레이즈에서 정답을 맞힌 인스턴스의 비율 (잠재적 지식).
    • 신뢰 가능한 역량 ($A_{strict}$): 모델이 모든 패러프레이즈에서 정답을 맞힌 인스턴스의 비율 (신뢰할 수 있는 지식).

주요 결과

1. 안정성의 환상

집계된 정확도 지표는 패러프레이즈 전반에 걸쳐 완만한 변동(통상 0~5%)만을 보여줍니다. 그러나 인스턴스 수준의 분석은 상당한 숨겨진 불안정성을 드러냅니다:

• 높은 불일치율: 집계된 정확도 차이가 거의 zero에 가깝더라도, 최대 23%의 질문이 패러프레이징 시 서로 다른 정답 레이블을 받습니다.
• 비결정성: 최대 47%의 패러프레이즈 세트가 상충하는 예측을 포함하고 있습니다 (즉, 모델이 의미론적으로 동일한 입력에 대해 서로 다른 레이블을 출력함).
• 반전율: 모델은 원래 질문에는 정답을 맞히고 패러프레이즈에는 틀리거나, 반대로 원래 질문에는 틀리고 패러프레이즈에는 맞히는 경우가 빈번합니다. 이는 표준 정확도가 진정한 신뢰성이 아니라 종종 상쇄되는 오류들의 통계적 부산물임을 나타냅니다.

2. 신뢰성 격차 (The Reliability Gap)

모델의 잠재적 지식과 일관된 성능 사이에는 상당한 격차가 존재합니다:

• 잠재적 vs 신뢰 가능: $A_{any}$(최선의 경우)는 $A_{strict}$(최악의 경우)보다 일관되게 높습니다. 예를 들어, TRUTHFULQA에서 모델들은 추가적인 30%의 질문에 대해 정답을 맞힐 수 있는 내부 역량을 보유하고 있음에도 불구하고, 다양한 구문 전반에서 이 지식을 일관되게 인출하는 데 실패합니다.
• 스케일링 트렌드: 더 큰 모델이 일반적으로 더 나은 안정성과 높은 $A_{strict}$를 보이지만, 고성능 모델에서도 격차는 지속됩니다. 생각의 사슬(Chain-of-Thought, CoT) 추론은 정확도와 일관성을 모두 향상시키지만 불안정성을 완전히 제거하지는 못합니다.

3. 셀프 패러프레이징을 통한 격차 해소

본 연구는 "신뢰성 격차"가 추론 시점에 부분적으로 해소될 수 있음을 보여줍니다. 모델이 직접 자신의 패러프레이즈를 생성하여 답변 전 풍부한 컨텍스트를 만드는 셀프 패러프레이징(Self-Paraphrasing) 전략을 적용했을 때, 테스트된 7개 모델 중 6개에서 성능이 향고되었습니다. 이는 잠재적 지식이 존재하지만 표면적 형태에 대한 민감도 때문에 일관되게 인출되지 못하고 있음을 시사합니다.

의의 및 주장

본 논문은 표준 정확도 지표가 LLM의 신뢰성에 대해 불완전하고 종종 지나치게 낙관적인 뷰를 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 인스턴스 수준의 불안정성 규명: 본 연구는 집계된 정확도 점수에 의해 가려져 있는, 의미 보존 입력 하에서의 상당한 불안정성이 존재함을 입증합니다.
2. 신뢰성 격차 정의: 잠재적 역량($A_{any}$)과 신뢰 가능한 역량($A_{strict}$) 사이의 구분을 공식화하여, 모델이 지식을 보유하고 있음에도 이를 신뢰할 수 있게 접근하지 못하는 경우가 많음을 보여줍니다.
3. 새로운 평가 패러다임 제안: 저자들은 사용자 구문이 다양하게 변하는 실제 배포 시나리오를 더 잘 반영하기 위해, 패러프레이즈된 입력 전반에 걸친 일관성 인식 평가(consistency-aware evaluation)를 옹호합니다.
4. 실질적 완화 방안: 이러한 발견은 셀프 패러프레이징과 같은 간단한 테스트 타임 전략이 재학습 없이도 잠재적 지식을 회복하고 강건성을 개선하는 "노이즈 제거" 메커니즘으로 작용할 수 있음을 시사합니다.

저자들은 LLM을 평가하기 위해서는 단일 프롬프트 정확도를 넘어, 진정한 신뢰성과 역량을 정확하게 평가할 수 있는 미세하고 일관성 인지적인 벤치마크로 나아가야 한다고 결론짓습니다.