Whose Alignment? Comparing LLM Process Alignment Across Diverse Organizational Decision Contexts

기술 요약: 누구의 정렬인가? 다양한 조직 의사결정 맥락에 걸친 LLM 과정 정렬 비교

1. 문제 제기

조직과 AI 시스템을 정렬 (alignment) 하기 위한 현재의 프레임워크는 일반적으로 정렬을 출력 일치에 초점을 맞춘 단일 목표 문제로 취급합니다. 즉, 모델이 조직과 동일한 결론에 도달하도록 보장하는 것입니다. 저자들은 이러한 프레임이 더 깊고 다원적인 과제인 과정 정렬 (process alignment) 을 가리고 있다고 주장합니다.

조직은 종종 암묵적이고 역사적으로 우연적이며 기관 간에 체계적으로 상이한 고유한 의사결정 정책을 인코딩합니다. LLM 은 근본적으로 다른 "단서 활용 정책 (cue-utilization policy, 정보를 다르게 가중치 부여)"을 사용하면서도 높은 출력 정확도를 달성할 수 있습니다. 이러한 차이를 지식 격차 (knowledge gap) 라고 부르며, 이는 과정의 정당성, 새로운 사례로의 일반화, 그리고 규제된 영역에서의 신뢰성에 위험을 초래합니다. furthermore, 기존의 다원적 정렬 연구는 개인 간 다원성 (개인의 선호도 집계) 에 초점을 맞추고 있지만, 기관 간 다원성은 largely 간과하고 있습니다. 이는 이러한 규범이 현대의 윤리적 또는 법적 기준과 충돌할 때 모델이 어떤 제도적 규범을 채택해야 하는지 해결하지 못합니다.

2. 방법론: 맥락화 정렬 렌즈 모델 (CALM)

과정 정렬을 측정하기 위해 저자들은 브룬스윅 렌즈 모델 (Brunswik Lens Model, Brunswik, 1952; Hammond et al., 1964) 을 적용합니다. 최종 출력을 비교하는 대신, CALM 은 조직과 LLM 의 단서 가중치 정책 (cue-weighting policies) 을 추정하고 비교합니다.

• 정책 추정: 관찰된 의사결정에 대한 릿지 정규화 로지스틱 회귀를 사용하여, 저자들은 조직 기준과 각 LLM 에 대해 특정 단서 (특징) 에 할당된 가중치를 나타내는 계수 벡터 ($\beta$) 를 도출합니다.
• 정렬 지표: 정렬은 조직의 정책 벡터 ($\beta_{org}$) 와 LLM 의 정책 벡터 ($\beta_{LLM}$) 사이의 코사인 유사도로 정량화됩니다:
  $$\cos(\theta) = \frac{\beta_{org} \cdot \beta_{LLM}}{\|\beta_{org}\| \|\beta_{LLM}\|}$$
  이 지표는 척도 불변이며 $[-1, 1]$ 범위 내에 있으며, 1.0 은 완벽한 정렬을 나타냅니다.
• 실험 조건: 이 프레임워크는 세 가지 조건을 테스트합니다:
  1. 기선 (Baseline): 모델이 구조화된 사례 프로필에 기반하여 결정합니다 (암묵적인 사전 훈련 정책 노출).
  2. 조직 외부화 (Org-externalized): 모델이 의사결정 전에 역사적 데이터에서 도출된 조직의 명시적 단서 가중치 정책을 지침으로 제공받습니다.
  3. 내성적 외부화 (Introspective-externalized): 모델이 기선 정책이 조직의 정책과 어떻게 다른지 보여주고 자기 수정을 지시받습니다.

3. 주요 기여 및 결과

이 논문은 서로 다른 영역에서 과정 정렬과 출력 정확도 간의 관계를 테스트하기 위해 두 가지 실증 연구를 제시합니다.

연구 1: 유럽인권재판소 (ECHR) 제 6 조 결정 (법률 영역)

• 맥락: 공정한 재판을 위한 권리에 관한 유럽인권재판소의 1,000 건 결정.
• 결과:
  • 강한 상관관계: 과정 정렬은 출력 정확도를 강력하게 예측합니다 ($r = 0.85, p < .001$). 법원과 유사하게 단서를 가중치 부여하는 모델이 더 높은 정확도를 달성합니다.
  • 효과적인 외부화: 조직의 정책을 명시적으로 제공하는 것 ("외부화") 은 정렬이 낮은 모델의 정렬을 현저히 개선합니다 (예: GPT-5.4-nano 는 $\Delta = +0.906$만큼 개선됨).
  • 천장 효과: 이미 잘 정렬된 모델은 최소한의 향상만 보여주어, 외부화는 정렬이 잘못된 모델에서 지식 격차를 해소하는 데 가장 효과적임을 시사합니다.

연구 2: 독일 소비자 신용 결정 (금융 영역)

• 맥락: 1990 년대 독일 은행의 1,000 건 역사적 신용 결정으로, 현재 반차별법 하에서 보호 속성 (예: 성별, 나이, 외국인 근로자 지위) 으로 간주되는 단서를 포함합니다.
• 결과:
  • 정렬과 정확도의 분리: 과정 정렬과 출력 정확도 간의 관계가 붕괴되었습니다 ($r = 0.15, p = .60$). 정렬 점수가 극도로 다른 모델들이 유사하고 (일관되게 낮은) 정확도율 (44~54% 대 75.1% 천장) 을 달성했습니다.
  • 일관성 없는 개입: 외부화는 일관되지 않은 효과를 낳았습니다. 일부 모델은 정책 쪽으로 이동한 반면, 다른 모델들은 더 멀어졌습니다. 한 모델 (Grok 4.1 Fast) 은 기본율 피드백에 반응하여 99.5% 의 사례를 "양호"한 위험으로 분류하는 "퇴행적 과수정 (degenerate over-correction)"을 보이며, 정책을 보정하는 대신 역전시켰습니다.
  • 공정성 긴장: 모델들은 종종 역사적 기준과 동일한 방식으로 보호 속성 (예: 외국인 근로자 지위) 을 가중치 부여하는 것을 저항하여, 조직 과정 정렬과 모델 수준의 안전 정렬 간의 충돌을 시사합니다.

4. 중요성 및 주장

저자들은 과정 수준의 측정이 고위험 조직 환경에서 특히 다원적 정렬 평가의 필수 구성 요소라고 주장합니다. 핵심 논제는 더 높은 정렬이 무조건 바람직한 것은 아니다는 것이며, 조직 정책 자체가 정당한 가치를 인코딩하는지에 달려 있습니다.

• CALM 의 이중 기능:
  • 보정 도구: 안정적이고 정당한 규범적 기준 (예: ECHR) 이 있는 영역에서 CALM 은 정책 차이를 정량화하고 격차를 해소하기 위한 외부화를 안내합니다.
  • 감사 도구: 논쟁적이거나 차별적인 기준 (예: 독일 신용) 이 있는 영역에서 CALM 은 행동 정책을 가독성 있게 만들어 이해관계자들이 모델이 역사적 차별을 충실히 재현하는지 아니면 저항하는지 검토할 수 있게 합니다.
• "충실성" 문제: 이 논문은 출력 일치가 조직 정책을 내면화한 모델과 단순히 결과를 근사화한 모델을 구별하지 못함을 강조합니다. 또한, 모델의 명시적 추론 (Chain-of-Thought) 이 실제 행동 정책과 다를 수 있으므로 CALM 을 통한 행동 측정이 필수적입니다.
• 거버넌스 함의: 이 연구는 AI 거버넌스가 출력 지표 (정확도, 인구통계학적 평등) 를 넘어 과정의 정당성을 포함해야 한다고 주장합니다. 조직은 역사적 관행이 현재의 윤리적 또는 규제 기준과 충돌할 수 있음을 인정하면서, 어떤 버전의 의사결정 정책이 정렬 목표가 되는지 명시적으로 지정해야 합니다.

이 논문은 조직 정렬이 단일 기술적 문제가 아니라, 누구의 제도적 규범이 채택되고 있는지, 어떤 정책이 인코딩되고 있는지, 그리고 누구의 관점에서 정렬이 평가되는지에 대한 실증적 측정을 요구하는 다원적 과제라고 결론지었습니다.