기술 요약: 상충하는 사양 하에서의 LLM 선호도 측정을 위한 대칭 기반 프레임워크

문제 정의

대규모 언어 모델(LLM)은 여러 맥락적 사양(contextual specifications)이 하나의 작업을 정의하는 환경에서 점점 더 많이 운용되고 있습니다. 이러한 사양은 자연어 지시문, 형식적 제약 조건, 실행 가능한 테스트, 또는 입출력 예시와 같이 다양한 형태로 나타나며, 서로 일치하지 않거나 직접적으로 충돌할 수 있습니다. 기존 연구들은 정보원 간의 충돌을 탐지하거나 조정하는 방법(예: RAG 또는 팩트 체크)을 조사해 왔으나, 모델이 서로 호환되지 않는 동작을 지원할 때 서로 다른 형태의 '작업 사양'을 어떻게 우선순위화하는지를 체계적으로 분석할 수 있는 통제 가능하고 귀속 가능한(attributable) 방법론은 부족한 실정입니다. 특히, LLM이 특정 표현 유형(예: 형식적 언어 vs 자연어)에 대해 체계적인 선호도를 보이는지, 그리고 이러한 선호도가 모델과 작업 도메인에 따라 어떻게 변하는지는 여전히 불분명합니다.

방법론

저자들은 경쟁하는 실행 가능한 매핑(executable mappings)에 대한 선택 과정으로 문제를 취급함으로써, 상충하는 사양 하에서의 모델 선호도를 측정하기 위해 설계된 대칭 기반 실험 프레임워크를 제안합니다.

핵심 프레임워크

1. 실행 가능한 매핑 (Executable Mappings): 작업은 매핑 $f: X \to Y$로 정의됩니다. 충돌하는 사양은 구별 가능한 쿼리 $q^\star$($f_1(q^\star) \neq f_2(q^\star)$인 경우)에 대해 서로 다른 귀속 가능한 출력을 생성하는 매핑 쌍($f_1, f_2$)으로 구성됩니다.
2. 귀속 (Attribution): 각 사양이 구체적인 출력을 유도하기 때문에, 모델의 응답은 $f_1$, $f_2$, 또는 둘 다가 아닌 것으로 직접 귀속될 수 있습니다. 이는 암묵적인 결정을 관찰 가능한 변수로 변환합니다.
3. 대칭 기반 균형화 (Symmetry-Based Counterbalancing): 표현 유형 간의 선호도를 표현 방식이나 특정 콘텐츠 편향(예: 제시 순서)과 같은 혼란 변수로부터 분리하기 위해, 프레임워크는 대칭 완결적 구성을 채택합니다. 표현 유형 $A$와 $B$ 사이의 모든 비교에 대해, 각 충돌 인스턴스당 네 가지 시행이 생성됩니다:
   • $(A(f_1), B(f_2))$, $(B(f_1), A(f_2))$, $(A(f_2), B(f_1))$, $(B(f_2), A(f_1))$.
     이 설계는 표현 유형의 매핑 할당과 제시 순서를 균형 있게 배치하여, 비대상 요인을 제거한 상태에서 집계를 통한 선호도 추정을 가능하게 합니다.

실험 설정

프레임워크는 다음 세 가지 도메인에서 구현되었습니다:

1. 수학적 벤치마크: 11개 함수 군(예: 대수, 그래프, 행렬 연산)에 걸친 550개 충돌 인스턴스로 구성된 통제된 데이터셋. 네 가지 표현 유형이 비교되었습니다: 순수 자연어(NL), 형식 언어(Form), 자연어화된 형식 언어(NatF), 입출력 예시(Ex).
2. 불 대수 (Boolean Algebra): 기호 공식과 진리표 간의 충돌.
3. 코드 생성: 자연어 문서와 실행 가능한 유닛 테스트(MBPP 데이터셋에서 파생됨) 간의 충돌.
4. 임상 규칙 (Clinical Rules): 신장 용량 임계값 및 소아 연령 지표를 포함한 openFDA 라벨 기반의 충돌을 다루며, 실제 규칙과 스키마 보존적 섭동(perturbation) 간의 충돌을 테스트함.

주요 결과

1. 체계적 표현 선호도 (수학적 벤치마크)

DeepSeek, GPT, Llama 계열을 포함한 여러 모델에 걸쳐, 수학적 충돌을 해결하기 위한 일관된 선호 순위가 확인되었습니다:
$$\text{Formal} \approx \text{Naturalized Formal} > \text{Pure Natural Language} > \text{Input–Output Examples}$$

• 형식 언어 vs 자연어: 모델들은 순수 자연어보다 형식적 사양을 약 87%의 확률로 선택했습니다.
• 형식 언어 vs 예시: 형식적 사양에 대한 예시 대비 선호도는 더욱 강력했습니다 (~93%).
• 자연어화된 형식 언어: 자연어로 표현되었음에도 불구하고, 자연어화된 형식 사양은 순수 형식 사양과 유사하게 동작했습니다. 이는 표면 구문보다 명시적인 수학적 구조의 존재가 지배적인 요인임을 시사합니다.
• 모델 편차: 전체적인 계층 구조는 유지되었으나, 선호도의 상대적 강도는 달랐습니다. 예를 들어, 어떤 모델(예: GPT-5-nano)은 자연어화된 형식을 선호한 반면, 다른 모델(예: DeepSeek-V4-Flash)은 순수 형식을 선호하는 등, 형식 언어에 대한 선호도는 균일하지 않았습니다.

2. 예시의 역할

입출력 예시의 경쟁력은 모델의 능력과 작업 구조에 따라 크게 달라지는 것으로 나타났습니다:

• 능력 의존성: 고성능 모델 변체는 저성능 변체보다 예시에 의해 지원되는 매핑을 더 자주 선택했습니다.
• 작업 의존성: 예시는 순수 자연어에 대해서는 경쟁력이 높았으나(일부 모델에서 선택률 ~55%), 형식적 또는 자연어화된 형식 사양에 비해서는 경쟁력이 현저히 낮았습니다(선택률 종종 <10%).
• 구조 민감도: 예시는 경쟁하는 사양이 명시적인 수학적 구조를 드러낼 때 어려움을 겪었습니다. 즉, 유한한 데모만으로는 명시적 제약을 가진 형식적 표기법만큼 규칙을 복구하기에 불충분했습니다.

3. 이질적 도메인 결과

• 불 대수: 모델들은 포괄적인 진리표보다 압축적이고 합성적인 기호 표현(공식 및 게이트 넷리스트)을 강력하게 선호했습니다. 그러나 공식과 게이트 넷리스트 사이의 선호도는 모델마다 달랐으며, 이는 구조적으로 유사한 표현들 사이에 보편적인 계층 구조가 없음을 시사합니다.
• 코드 생성: 모델 능력에 따라 뚜렷한 차이가 관찰되었습니다. 낮은 점수의 모델들은 일반적으로 자연어 문서를 선호한 반면, 높은 점수의 모델들은 실행 가능한 테스트를 강력하게 선호했습니다(상위 모델의 경우 최대 97% 선택).
• 임상 규칙: 임상 환경에서는 표현 계층 구조가 그대로 전이되지 않았습니다. 대신 도메인 특화된 편향이 나타났습니다: 모델들은 "실제" 라벨인지 섭동된 라벨인지와 관계없이 일관되게 더 제한적인(more restrictive) 규칙을 선호했습니다(52%~87% 선택). 이는 고위험 도메인에서 안전성/제한성 편향이 표현 선호도를 압도할 수 있음을 나타냅니디.

4. 강건성 및 기권 (Abstention)

• 제시 순서: 부차적인 효과였으나, 두 사양의 강도가 비슷할 때(예: Formal vs. Naturalized Formal)를 제외하고는 제시 순서가 미치는 영향은 미미했습니다.
• 기권: "불확실함"을 답하도록 명시적으로 허용되었을 때, 모델(특히 GPT-5-nano)은 충돌 처리 전략으로 기권을 활용했으며, 그 비율은 표현 쌍에 따라 크게 달랐습니다(예: GPT-5-nano의 Formal vs. Naturalized Formal 충돌 시 기권율 ~64%).

의의 및 주장

본 논문은 LLM의 충돌 해결을 통제 가능하고 실행 가능하며 대칭 균형화된 측정 문제로 확립했다고 주장합니다.

• 귀속 가능한 측정: 실행 가능한 그라운드 트루스와 대칭 기반 균형화를 통해, 본 프레임워크는 모델의 응답을 특정 사양에 직접 귀속시킴으로써 "환각"이나 "조정"에 대한 질적 분석을 넘어선 분석을 가능하게 합니다.
• 구조적이지만 맥락 의존적임: 연구 결과는 LLM의 충돌 해결이 무작위 노이즈가 아니라 구조화된 선택 과정임을 보여줍니다. 그러나 이 구조는 맥락에 따라 달라집니다. 수학적 작업에서는 명시적 구조에 대한 일반적인 선호가 나타나지만, 도메인 특화된 요인(임상 규칙의 제한성이나 코드 생성의 테스트 정밀도 등)이 이러한 선호도를 재형성하거나 압도할 수 있습니다.
• 통합된 프레임워크: 이 연구는 모델이 서로 다른 형태의 사양을 어떻게 우선순위화하는지 분석하기 위한 통합된 실험적 접근 방식을 제공하며, 이러한 선호도가 보편적인 것이 아니라 모델, 작업군 및 도메인에 따라 체계적으로 변한다는 것을 입증합니다.

저자들은 이러한 암묵적 계층 구조를 이해하는 것이 신뢰할 수 있는 LLM 기반 시스템을 설계하는 데 필수적이며, 충돌의 "승자"는 표현 유형, 모델 능력, 그리고 도메인 특화된 제약 조건 간의 복잡한 상호작용에 의해 결정된다고 결론짓습니다.