A CAP-like Trilemma for Large Language Models: Correctness, Non-bias, and Utility under Semantic Underdetermination

기술적 요약: 대규모 언어 모델을 위한 CAP 유사 삼각형

문제 제기
본 논문은 분산 시스템의 CAP 정리에 유사한 구조적 긴장감이 대규모 언어 모델 (LLM) 응답 생성에 존재함을 규명합니다. CAP 정리는 네트워크 분할 시 일관성 (Consistency), 가용성 (Availability), 분할 허용성 (Partition tolerance) 을 동시에 보장할 수 없다고 주장하는 반면, 본 연구는 LLM 이 의미적 미결정성 (semantic underdetermination) 하에서 유사한 불가능성에 직면한다고 주장합니다.

프롬프트는 이용 가능한 사실, 가정, 전제 ($F_x$) 가 유일한 답을 논리적으로 도출하기에 불충분할 때 의미적으로 미결정된 것으로 정의됩니다. 이러한 상황에서 사용자 질의 (예: "어떤 후보를 선택해야 하는가?" 또는 "어떤 도시가 더 나은가?") 는 단일 결정을 요청하지만, 전제들은 그 선택을 정당화하는 데 필요한 결정 기준을 명시하지 않습니다. 논문은 이러한 맥락에서 LLM 이 세 가지 바람직한 속성을 동시에 보장할 수 없다고 가정합니다:

1. 강한 정확성 ($C_{strong}$): 출력은 이용 가능한 전제에 의해 엄격하게 도출되어야 합니다 ($F_x \models y$).
2. 엄격한 비편향성 ($NB_{strict}$): 모델은 $F_x$ 에 의해 명시적으로 정당화되지 않는 한 한 후보를 다른 후보보다 우대하지 않아야 합니다. 여기서 편향은 지지되지 않는 선택 선호, 사전 확률, 또는 규범적 기준을 포함하는 광의의 개념으로 정의됩니다.
3. 결단적 유용성 ($U_{decisive}$): 응답은 거절, 회피, 또는 명확화 요청이 아닌 구체적이고 실행 가능한 답변을 제공해야 합니다.

방법론
본 논문은 CAP 정리의 길버트 - 린치 (Gilbert-Lynch) 형식화에 직접적인 유추를 끌어와 이 삼각형을 공식화하기 위해 형식 논리 프레임워크를 활용합니다.

• 형식적 정의: 저자들은 전제와 호환 가능한 답의 집합 $S_x = \{a \in A \mid a \text{ is compatible with } F_x\}$ 를 정의합니다. 프롬프트가 미결정된 경우 $|S_x| > 1$ 입니다.
• 논리적 공식화: 핵심 가설은 $D(x) \Rightarrow \neg(C_{strong} \land NB_{strict} \land U_{decisive})$ 로 공식화됩니다. 이는 프롬프트가 미결정된 경우 세 가지 조건을 동시에 만족하는 것이 불가능함을 의미합니다.
• 쌍별 분석: 논문은 쌍별 상충 관계를 분석합니다:
  • $C_{strong} \land NB_{strict} \Rightarrow \neg U_{decisive}$: 정확하고 편향되지 않기 위해 모델은 거절하거나 명확화를 요청해야 하므로 유용성이 감소합니다.
  • $NB_{strict} \land U_{decisive} \Rightarrow \neg C_{strong}$: 중립성을 유지하면서 유용하고 결단력 있게 행동하기 위해 모델은 정확성을 약화시키는 지지되지 않는 동등성을 제시할 수 있습니다.
  • $C_{strong} \land U_{decisive} \Rightarrow \neg NB_{strict}$: 정확하고 결단력 있는 답변을 제공하기 위해 모델은 선택 기준을 도입해야 합니다. 이 기준이 사용자에게 제공되지 않은 경우, 이는 지지되지 않는 편향으로 작용합니다.
• 사례 연구: 방법론은 세 가지 예시를 통해 설명됩니다:
  1. 장학금 선정: 지정된 가중치 규칙 없이 GPA 와 재정적 필요에 기반하여 학생들 간에 선택하는 경우.
  2. 주관적 추천: 명시되지 않은 사용자 우선순위 (예: 일자리 시장 대 안전) 에 기반하여 도시를 순위 매기는 경우.
  3. 규범적 결정: 정의된 윤리적 프레임워크 없이 이익 대 직원 복지를 우선순위로 정하는 경우.

주요 기여

1. CAP 유사 가설: 주요 기여는 "정확성–비편향성–유용성 삼각형"의 공식화입니다. 이는 LLM 의 실패를 단순히 모델의 한계 (예: 환각 또는 훈련 데이터 편향) 로 보는 시각에서, 미결정된 결정 요청의 구조적 결과로 인식하는 시각으로 전환합니다.
2. 편향의 재정의: 논문은 편향의 정의를 인구통계학적 또는 사회적 편견을 넘어 "선택 이론적 편향"으로 확장합니다. 미결정된 설정에서 명시적인 사용자 정당화 없이 여러 유효한 옵션 중 단일 답을 선택하는 모든 메커니즘은 편향으로 간주됩니다.
3. 거절의 형식화: 본 연구는 모델의 거절이나 명확화 요청을 유용성 실패가 아닌, 일관성 유지 전략으로 재해석합니다. 이는 일관성을 피하기 위해 네트워크 분할 중 요청을 거절하는 분산 시스템과 유사합니다.
4. 설계 정책 제안: 저자들은 이러한 상충 관계를 관리하기 위한 실용적 정책 $\pi(x)$ 를 제안하며, 모델은 다음과 같이 행동해야 한다고 주장합니다:
   • $|S_x| = 1$ 일 경우 직접 답변합니다.
   • $|S_x| > 1$ 이고 기준이 제공되지 않은 경우 명확화를 요청합니다.
   • 여러 기준이 타당한 경우 조건부 답변을 제공합니다.
   • 유용성이 엄격하게 결정을 요구하는 경우 명시된 가정을 포함하여 추천합니다.

결과 및 주장
본 논문은 경험적 실험 결과를 제시하지 않지만, 귀류법을 통한 이론적 증명을 제시합니다. 다수의 유효한 답이 있는 임의의 미결정 프롬프트에 대해 세 가지 속성을 모두 만족하면 논리적 모순이 발생함을 보여줍니다.

• 이론적 결과: 결단력 있는 답변 ($y \in S_x$) 은 가치 함수 또는 기준 $\theta$ 의 도입을 요구합니다. $\theta$ 가 $F_x$ 에 포함되지 않으면 답변은 강한 정확성을 갖지 못합니다 ($F_x \not\models y$). $\theta$ 가 숨겨져 있으면 답변은 편향적입니다. $\theta$ 가 명시적이지만 모델이 선택을 거부하면 유용성이 감소합니다.
• 정렬에 대한 함의: 논문은 진실성, 무해성, 유용성을 독립적으로 최대화 가능한 목표로 취급하는 현재의 정렬 노력들이 미결정 맥락에서 근본적으로 결함이 있을 수 있다고 주장합니다. "유용한" 답변은 종종 선호를 필요로 하며, "중립적인" 답변은 종종 거절을 필요로 합니다.

의의
본 논문은 이 삼각형에 대한 이해가 차세대 LLM 정렬 및 배포에 중요하다고 주장합니다.

• 실패의 재해석: 많은 지각된 모델 실패는 모델의 무능력이 아니라 프롬프트의 본질에 의해 구조적으로 유발된 것임을 시사합니다.
• 중립성보다 투명성: 목표는 상충 관계를 제거하는 것이 아니라 이를 명시적으로 만드는 것이라고 주장합니다. 전제가 불충분할 때 모델은 "결단적 유용성"보다 "조건부 정확성"과 "투명한 비편향성" (사용된 가정 공개) 을 우선시해야 합니다.
• 시스템적 영향: 기초 모델이 고위험 하류 작업에 배포됨에 따라, "균형 잡힌" 답변이 실제로는 지지되지 않는 동등성 주장일 수 있음을 인식하는 것은 숨겨진 규범적 프레임워크의 확산을 방지하는 데 필수적입니다.

결론적으로, 본 논문은 정렬 전략이 독립적으로 최대화하려는 시도를 중단하고, 의미적 미결정 하에서 정확성, 비편향성, 유용성이 어떻게 상충하는지 연구하도록 진화해야 한다고 주장합니다.