기술 요약: "LLM은 순위를 매길 수 있는가? 삼조직(Triads)과 트리아지(Triage)의 이야기"

문제 정의

대규모 언어 모델(LLM)은 긴급 주거 지원 대상 가구 우선순위 선정이나 응급실 환자 분류와 같은 고위험 자원 배분 작업에서 "판사"로서 점점 더 많이 배치되고 있습니다. LLM은 정교한 추론 능력을 보여주지만, 그 출력값은 제시 순서와 프롬프트 프레이밍에 민밀하게 반응하므로, 대규모 그룹을 동시에 순위 매기는 작업에는 취약합니다. 사회 선택 이론(social choice theory)에 근거한 일반적인 완화 전략은 쌍체 비교(pairwise comparisons)를 이끌어낸 뒤 이를 하나의 전체 순서로 집계하는 것입니다.

그러나 실무자들은 LLM의 쌍체 판단이 결과적인 순위를 신뢰할 만큼 충분히 일관적인지를 배포 전에 평가할 수 있는 신뢰할 만한 방법을 갖추지 못했다는 결정적인 공백이 존재합니다. 기존 문헌은 일관성 지표와 순위 정확도를 별개의 문제로 다루는 경우가 많으며, **내적 일관성(intra-run consistency, 단일 실행 내의 논리적 일관성)**과 외적 분산(inter-run variance, 여러 실행 간의 순위 결과 안정성) 사이의 관계를 탐구하지 못했습니다. 본 논문은 이 두 가지 신뢰성 축이 독립적인지, 그리고 합성 데이터 및 실제 세계의 LLM 애플리케이션에서 어떻게 작동하는지를 조사합니다.

방법론

이론적 프레임워크

저자들은 두 개의 독립적인 축으로 정의되는 $2 \times 2$ 분류 체계를 제안합니다:

1. 내적 일관성 (Intra-Run Consistency, IC): **일관성 계수($\zeta$)**로 측정됩니다. 원래 켄달(Kendall)과 스미스(Smith)가 개발한 $\zeta$는 토너먼트 그래프에서의 순환 삼조직(circular triads, $\{a, b, c\}$ 세트에서 $a \succ b \succ c \succ a$가 발생하는 경우)을 계산하여 판사의 신뢰도를 정량화합니다. $\zeta = 1$은 완벽한 이행성(transitivity)을 나타내며, $\zeta = 0$은 최대의 순환성(cyclicity)을 나타냅니다. 본 논문은 후보자 수 $n$이 증가함에 따라 $\zeta$의 점근적 거동을 유도하며, 이는 불일치율 $r$과 스케일링 인자에 의존함을 보여줍니다.
2. 외적 분산 (Inter-Run Variance, IV): 동일한 파이프라인의 독립적인 실행들 사이에서 생성된 순위 간의 켄달 타우($\tau$) 거리로 측정됩니다. 이는 최종 순위의 안정성을 포착합니다.

저자들은 알려진 정답(ground truth)을 가진 쌍체 비교의 표준 생성 모델인 브래들리-테리-루스(Bradley-Terry-Luce, BTL) 모델 하에서 $n, \zeta, \tau$ 사이의 관계를 이론적으로 규명합니다.

실험 설계

본 연구는 두 영역에서 이 지표들을 평가합니다:

• 노숙자 주거 배정: 단일 성인, 가족, 전환기 청소년을 대상으로 한 세인트루이스 통합 엔트리 기록(VI-SPDT, VIF-SPDAT, TAY-VISPDAT)을 사용합니다.
• 응급실 트리아지: ESI(Emergency Severity Index) 라벨이 포함된 MIMIC-IV 데이터를 사용합니다.

모델: 세 가지 주요 LLM을 로컬 환경에서 테스트했습니다: Meta-Llama-3-8B-Instruct, DeepSeek-R1-Distill-Llama-8B, Qwen2.5-7B-Instruct.

절차:

1. 부분 토너먼트 평가: 각 데이터셋에 대해 $m=30$개의 항목으로 구성된 완전한 부분 토너먼트를 생성했습니다 ($435$개의 쌍체 비교).$\zeta$를 정확하게 계산하였고, 부트스트랩 서브샘플링을 통해 자기 일관성($\tau_{cons}$)을 측정했습니다.
2. 전체 희소 파이프라인: 실제 세계의 제약 조건을 시뮬레이션하기 위해 에지 샘플링 확률 $p=0.4$를 사용하여 더 큰 집합($n$이 최대 698)에 대해 파이프라인을 실행했습니다. 저자들은 $\hat{\zeta}$(희소 데이터로부터 추정된 값)와 $\tau_{cons}$가 $n$에 따라 어떻게 스케일링되는지 측정했습니다.

주요 기여

1. $\zeta$의 이론적 특성화: 본 논문은 고정된 변별력을 가진 BTL 모델 하에서 불일치율 $r$이 $\Theta(1/n^2)$로 감소하여, $n$이 증가함에 따라 $\zeta$가 1로 수렴함을 증명합니다. 이는 규모가 커질수록 일관성이 개선된다는 이론적 기준선을 확립합니다.
2. 일관성 축의 분리: 합성 실험을 통해 저자들은 $\zeta$와 $\tau_{cons}$가 상관관계는 있지만 중복되지는 않음을 입증합니다. 구체적으로, $\zeta$는 비교 신호의 질(quality)(비이행성)을 측정하는 반면, $\tau_{cons}$는 신호의 질과 가용 가능한 비교의 양(quantity) 모두에 의존합니다.
3. 실제 데이터에서의 경험적 괴리: BTL 모델과 달리, 실제 LLM 데이터는 $n$이 증가함에 따라 **일정한 불일치율($r$)**을 보입니다. 결과적으로 $\zeta$는 증가하는 대신 점근적 하한선 근처에서 안정화되는 반면, $\tau_{cons}$는 데이터 포인트의 누적으로 인해 $n$에 따라 계속 증가합니다.
4. 모델별 성능 프로필: 연구 결과 단일 LLM이 두 축 모두에서 우위를 점하지 못함을 보여줍니다.
   • LLaMA: 일관되게 가장 높은 내적 일관성($\zeta$)을 달성하지만, 외적 안정성(inter-run stability)은 낮습니다.
   • Qwen: 가장 높은 외적 안정성($\tau_{cons}$)을 달성하지만, 내적 일관성은 가장 낮습니다.
   • DeepSeek: 일반적으로 두 차원 모두에서 중간 정도의 위치를 차지합니다.

결과

• 합성 데이터 vs. 실제 데이터 행동: 합성 BTL 데이터에서는 $n$이 증가함에 따라 $\zeta$가 증가합니다. 반면 실제 LLM 생성 데이터에서는 $n$의 변화에 관계없이 $\zeta$가 대략 일정하게 유지되며, 이는 불일치율 $r$이 규모에 따라 감소하지 않음을 나타냅니다.
• 진단적 유용성: 희소 추정치 $\hat{\zeta}$는 다양한 관측 확률($p$)에 대해 편향되지 않은 것으로 나타나, 불완전한 데이터에서도 비교 품질을 추정할 수 있게 해줍니다.
• 트레이드오프: 본 논문은 높은 $\zeta$를 가진 모델(LLaMA)은 내부적으로는 논리적이지만 실행 간에는 불안정할 수 있고, 높은 $\tau_{cons}$를 가진 모델(Qwen)은 실행 간에는 안정적이지만 내부적으로는 비이행적일 수 있다는 중요한 트레이드오프를 강조합니다.

의의 및 주장

본 논문은 고위험 순위 지정 작업에서 LLM의 신뢰성을 평가할 때 단일 지표( $\zeta$ 또는 $\tau_{cons}$ 중 하나)에 의존하는 것은 불충분하며 오해의 소지가 있다고 주장합니다.

• 독립적인 축: 저자들은 내적 일관성과 외적 분산이 진정으로 독립적인 신뢰성 축이라고 단언합니다. 시스템은 내부적으로 일관적이지만 불안정할 수 있고(낮은 IV, 높은 IC), 안정적이지만 내부적으로 비이행적일 수 있습니다(높은 IV, 낮은 IC).
• 실무적 진단 프로토콜: 저자들은 실무자를 위한 2단계 진단법을 제안합니다:
  1. 작은 규모의 완전한 부분 토너먼트를 실행하여 $\zeta$를 계산합니다. 만약 $\zeta$가 낮다면, 비교 프로세스 자체가 근본적으로 비이행적인 것이며, 아무리 많은 데이터를 추가해도 해결되지 않습니다.
  2. 만약 $\zeta$는 높지만 $\tau_{cons}$가 낮다면, 이는 신호의 질 문제가 아니라 데이터 양의 부족 문제입니다. 이때의 해결책은 모델을 바꾸는 것이 아니라 샘플링 비율을 높이는 것입니다.
• 모델 선택: 결과는 모델 선택이 도메인에 따라 달라져야 함을 시사합니다. 이해관계자가 개별 판단의 논리적 일관성을 우선시한다면 LLaMA가 선호될 수 있습니다. 만약 실행 간의 결과 안정성을 우선시한다면 Qwen이 선호될 수 있습니다.

본 논문은 제안된 분류 체계가 단순한 정확도 지표를 넘어, 결정적인 의사결정에 있어 AI 신뢰성에 대한 더 미묘한 이해로 나아가기 위한 필수적인 프레임워크를 제공한다고 결론짓습니다.