A Two-Stage Statistical Framework for Evaluating Associative Interference in Large Language Models

기술 요약: 대규모 언어 모델의 연상 간섭 평가를 위한 2단계 통계적 프레임워크

문제 제기

대규모 언어 모델(LLM)의 편향성 평가는 점차 인간의 심리학적 패러ทด임, 특히 암묵적 연합 검사(Implicit Association Test, IAT)의 변형에 의존하고 있다. 그러나 이러한 패러다임을 생성 모델에 적용할 때는 근본적인 방법론적 결함이 발생한다: 즉, 응답 준수(모델이 프롬프트를 거부하는지, 안전 필터링된 출력을 생성하는지, 또는 형식 제약을 준수하지 못하는지)와 과업 일관적 분류(모델 응답의 기저에 깔린 연상 구조)를 혼동하는 문제이다.

표준적인 평가 방식에서 비준수 출력(거부 또는 잘못된 형식의 응답)은 종종 과업 불일치로 암묵적으로 간주된다. 이는 결과 해석을 모호하게 만들며, 진정한 편향 완화(즉, "무효" 결과)와 정렬(alignment) 제약이나 거부 행동으로 인한 측정 가능한 구조의 억제 사이를 구분하기 어렵게 만든다. 이러한 과정을 분리하지 않으면, IAT 스타일 과업에서 관찰되는 비대칭성이 의미 있는 연상 패턴이 아니라 안전 프로토콜 준수 행위의 인위적 산물일 수 있다.

방법론

이를 해결하기 위해 저자들은 응답 준수와 조건부 연상 간섭을 분리하는 2단계 계층적 모델링 프레임워크를 제안한다. 본 연구는 JSON 제약 프롬프트를 사용하여 단일 레이블("A" 또는 "B")로 응답을 제한하는 통제된 강제 선택 설계로 IAT를 적응시켰다.

실험 설계:

• 평가 대상 모델: Claude Sonnet-4, Gemini 2.5 Pro, GPT-5 세 가지 현대적 LLM.
• 도메인: 성별-직업(Gender–Career) 및 성별-과학(Gender–Science).
• 자극(Stimuli): 도메인당 80개의 고유 항목(카테고리당 20단어), 총 160개 시행(trial) per 모델 per 도메인 (총 960개 시행).
• 조건: 시행은 일치(congruent) 블록과 불일치(incongruent) 블록으로 그룹화되었다.

2단계 프레임워크:

1. 단계 A (준수 모델): 다층 로지스틱 회귀를 통해 유효한 강제 선택 응답을 생성할 확률($Pr(valid)$)을 모델링한다. 이 단계는 항목 수준의 이질성을 설명하고, 과업 자체로부터 응답 정책(거부, 안전 필터, 형식 오류)을 분리한다.
2. 단계 B (조건부 간섭 모델): 유효한 응답이 주어졌다는 조건 하에, 두 번째 다층 로지스틱 회귀를 사용하여 과업 일관적 분류 확률($Pr(task-consistent | valid)$)을 추정한다.
   • 주요 추정량: 간섭 크기는 $\Delta P = P(consistent | congruent) - P(consistent | incongruent)$로 정의된다.
   • 양(+)의 $\Delta P$는 인간의 IAT 연구와 유사하게 불일치 블록에서 과업 일관성이 감소함을 나타낸다.
   • 모델은 어휘적 이질성을 포착하기 위해 약한 규제 사전 분포(weakly regularizing priors)와 항목 수준의 랜덤 절편(random intercepts)을 사용하는 베이지안 로지스틱 회귀를 사용한다.

검증:
본 연구는 모델 내에서 블록 레이블을 무작위화하는 순열 기반 허위 검증(permutation-based falsification)을 채택한다. 이를 통해 관찰된 비대칭성이 항목 불균형이나 무작위 변동에 의한 것이 아니라, 구조적 의존성을 반영함을 확인한다.

주요 결과

연구 결과, 모든 모델에서 준수율은 일관되게 높았으나(사후 예측 확률 > 0.98), 연상 간섭은 모델과 도메인에 따라 실질적으로 달랐다:

• Claude Sonnet-4: 성별-직업 도메인에서 강한 간섭을 보였으며 ($\Delta P = 0.086$, 95% CrI [0.026, 0.173]), 성별-과학 도메인에서도 작지만 신뢰할 수 있는 효과를 보였다 ($\Delta P = 0.020$).
• Gemini 2.5 Pro: 완화된 간섭을 보였다. 성별-직업 도메인에서는 작은 효과를 보였으나 ($\Delta P = 0.017$), 성별-과학 도메인에서는 신뢰할 수 있는 효과가 없었다 ($\Delta P = 0.002$, 구간에 0 포함).
• GPT-5: 두 도메인 모두에서 감지 가능한 간섭이 거의 없거나 미미했다. 추정치는 0 근처에 군집되어 있었으며 신뢰 구간이 0을 포함했다 (성별-직업: $\Delta P = 0.004$; 성별-과학: $\Delta P = 0.001$).

준수율은 블록 유형이나 도메인에 따라 신뢰할 만한 차이를 보이지 않았으며, 이는 관찰된 간섭 차이가 구조적 응답 비대칭성을 반영함을 입증한다.

핵심 기여

1. 방법론적 분리: 본 논문은 준수(형식/안전 준수)와 추론(연상 구조)을 명시적으로 분리하는 원칙적인 프레임워크를 도입한다. 이는 거부 행동을 편향이나 중립성의 증거로 오해하는 것을 방지한다.
2. LLM에 대한 IAT 적응: 저자들은 IAT를 강제 선택형, JSON 제약 형식으로 성공적으로 적응시켜 자유 형식 생성의 변동성을 줄이고 모델 간 직접적인 추론 비교를 가능하게 했다.
3. 계층적 모델링: 항목 수준의 랜덤 효과를 사용함으로써, 결과가 소수의 자극 집합에 의해 주도될 수 있다는 우려를 해결하고 확률 척도 상의 견고한 효과 크기 추정치($\Delta P$)를 제공한다.
4. 모델 이질성에 대한 실증적 증거: 본 연구는 IAT 스타일의 연상 비대칭성이 LLM의 보편적 속성이 아님을 보여준다. 대신, 이는 특정 모델의 특성에 따라 달라지며, 현대적 시스템은 다양한 정도의 간섭을 나타낼 수 있음을 시사한다.

의의 및 주장

본 논문은 연상 간섭이 대규모 언어 모델의 내재적이고 불변하는 속성이 아니라고 주장한다. 일부 모델(Claude Sonnet-4)에서 나타나는 강한 간섭과 다른 모델(GPT-5)에서의 간섭 부재는, 이러한 효과가 학습, 정렬 절차(예: RLHF, 안전 필터링) 또는 구조적 차이를 통해 상당히 완화될 수 있음을 시사한다.

저자들은 무효 결과(null results)를 주의해서 해석해야 한다고 강조한다. 관찰된 간섭의 부재가 반드시 모델이 "중립적"이거나 "공정"하다는 것을 증명하는 것은 아니다. 이는 단순히 정렬을 통해 측정 가능한 구조를 성공적으로 억제했음을 반영할 수 있다. 반대로, 간섭의 존재는 제약된 조건 하에서의 구조화된 응답 패턴을 나타낸다.

궁극적으로, 본 연구는 편향 평가에 있어 모델별 평가를 위해 논의한다. 저자들은 연상 행동을 현대 언어 모델의 균일한 속성으로 취급하는 것을 경계하며, 모델이 참여할 때의 '참여 거부'와 '응답의 구조'를 구분하는 것의 필요성을 강조한다. 이 프레임워크는 연상 간섭을 격리하기 위한 통제된 실험적 접근법을 제공하여, 생성형 AI의 구조화된 응답 패턴을 평가하는 데 있어 더욱 엄격한 기초를 마련한다.