기술 요약: LLM 적응성의 한계에 대하여

문제 정의

대규모 언어 모델(LLM)은 사용자가 제공한 프롬프트(작업 정의)가 모델의 행동을 완전히 제어한다는 암묵적인 가정하에, 제로샷 주석(zero-shot annotation) 및 "LLM-as-a-judge" 작업에 점점 더 많이 배치되고 있습니다. 그러나 LLM은 백지 상태가 아닙니다. 이들은 사전 학습, 지시어 튜닝(instruction tuning), 그리고 인간 피드백을 통한 강화 학습(RLHF)을 통해 개발된 **모델 내부의 내재된 사전 지식(model-internalized priors)**을 보유하고 있습니다. 이러한 사전 지식은 (예: "독성") 특정 사용자의 정의와 일치하지 않을 수 있는 개념에 대한 암묵적인 이해를 형성합니다. 본 연구에서 조사하는 핵심 문제는 이러한 내재된 개념과 사용자 지시 사이의 긴장 관계입니다. 즉, 프롬프트가 모델의 내부 사전 지식을 어느 정도까지 무력화할 수 있는지, 그리고 이러한 사전 지식이 주석 성능과 신뢰성을 어떻게 제한하는지입니다.

방법론

저자들은 9개의 지시어 튜닝된 LLM(Llama, Mistral, DeepSeek 및 독점 모델을 포함한 밀집형 및 혼합 전문가(MoE) 아키텍처를 포괄)을 5가지 주요 독성 탐지 데이터셋(소셜 미디어, 게임, 뉴스, 포럼 커버)과 보조적인 비안전 작업에 대해 평가했습니다.

본 연구는 특정 지표와 실험 조건을 사용하여 세 가지 연구 질문(RQ)을 다루었습니다.

1. RQ1 (친숙도 vs. 정렬): 성능이 텍스트 암기력과 상관관계가 있는가, 아니면 개념적 정렬과 상관관계가 있는가?

   • 텍스트 친숙도: 모델에게 텍스트 인스턴스의 일부(40% 접두사)를 이어 쓰도록 유도하고 출력값을 실제 접미사와 비교함으로써 ROUGE-L, BERTScore, 임베딩 코사인 유사도를 통해 측정했습니다.
   • 정의 특화 친숙도 (DSF): 모델의 내부 개념과 데이터셋의 정의 사이의 의미론적 정렬을 정량화하는 새로운 지표입니다. 이는 모델에게 대상 개념을 자신의 언어로 설명하도록 유도한 뒤, 이 설명과 데이터셋의 공식 정의 사이의 코사인 유사도를 측정하여 계산되었습니다. DSF는 견고성을 보장하기 위해 6개의 다양한 문장 인코더에 걸친 합의(consensus)로 계산되었습니다.
   • 분석: 데이터셋 수준의 혼란 변수(예: 난이도, 도메인)를 통제하기 위해 편상관관계(Partial correlations)를 사용했습니다.

2. RQ2 (결정 고착성/Decision Stickiness): 제로샷 오류를 프롬프팅을 통해 수정할 수 있는가?

   • 구조율 (Rescue Rate): $P(\text{Correct} | \text{Prompted}, \text{Zero-Shot Wrong})$으로 정의됩니다.
   • 조건: 제로샷, 정렬된 정의, 퓨샷(Few-Shot), 퓨샷 + 정의, 그리고 DSPy로 최적화된 프롬프트.
   • 신뢰도 분석: 제로샷 오류와 오류 수정 확률 사이의 관계를 조사했습니다.

3. RQ3 (불일치 취약성): 잘못된 정의 하에서 모델은 어떻게 행동하는가?

   • 개념 치환: 서로 다른 데이터셋의 정의(예: "혐오 표현" vs. "게임 독성")를 대상 데이터셋에 적용하여 불일치 조건을 생성했습니다.
   • 지표: 불일치 상황에서의 변화율(Change Rate), 구조율(Rescue Rate), 오염율(Corruption Rate), 예측 편향(Prediction Bias) 및 자가 보고된 신뢰도 수준을 측정했습니다.

주요 결과

1. 개념적 정렬이 성능을 주도함 (RQ1)

• 암기력은 예측력이 없음: 데이터셋 난이도를 통제한 후, 세 가지 서로 다른 텍스트 암기 지표(ROUGE-L, BERTScore, 임베딩 유사도)는 주석 정확도와 양의 상관관계를 보이지 않았습니다 (편상관 $r \approx -0.15$ ~ $-0.19$). 어떤 경우에는 높은 암기력이 오히려 낮은 성능과 상관관계를 보이기도 했습니다.
• DSF는 예측력이 있음: 정의 특화 친숙도(DSF)는 제로샷 정확도와 유의미한 양의 상관관계를 보였습니다 (편상관 $r = +0.41, p=0.003$). 모델의 내부 개념이 작업 정의와 일치할 때 성능이 현저히 높았습니다. 이 결과는 안전(독성) 및 비안전(아이러니, 주관성) 도메인 모두에서 유지되었습니다.

2. 높은 결정 고착성 (RQ2)

• 제한적인 구조(Rescue): 전체 **구조율(Rescue Rate)**은 **34.8%**에 불ά서, 정렬된 정의, 퓨샷 예시, 또는 자동화된 프롬프트 최적화(DSPy)를 제공하더라도 제로샷 오류의 거의 3분의 2가 지속됨을 의미합니다.
• 신뢰도 장벽: 높은 신뢰도를 가진 오류는 수정하기가 특히 어려웠습니다. 모델이 높은 신뢰도(>0.9)를 보인 오류의 구조 확률은 **20.8%**로 떨어졌으며, 이는 중간 정도의 신뢰도를 보였을 때의 정점인 51.8%와 대조적입니다.
• 반복적 실패: 멀티 턴 프롬프팅(예시, 정의, 재고 요청 추가)은 구조율을 (3회 차에 걸쳐 7.5%에서 18.7%로) 미미하게 개선했을 뿐이며, 이는 결정 고착성이 반복적인 교정에 매우 견고함을 확인시켜 줍니다.
• 모델 크기: 조종 가능성(Steerability)은 모델 크기에 따라 단조 증가하지 않았습니다. 작은 모델(예: Mistral-Small-24B)이 큰 모델(예: Llama-3.1-70B)보다 때때로 더 높은 구조율을 보였습니다.

3. 불일치 및 캘리브레이션 실패 (RQ3)

• 행동 변화: 모델은 불일치하는 정의에 맞춰 예측 임계값을 조정했습니다(예: 좁은 정의는 과소 예측을, 넓은 정의는 과잉 예측을 유도). 이는 모델이 지시를 문자 그대로 따른다는 것을 보여줍니다.
• 신뢰도 맹목성: 결정적으로, 모델은 불일치하는 정의를 적용하는 중에도 높은 신의도(84–91%)를 유지했습니다. 불일치 상황에서도 신뢰도 수준은 감소하지 않았으며, 이는 근본적인 캘리브레이션 실패를 나타냅니다. 실무자들은 신뢰도 점수를 통해 모델이 잘못된 정의를 적용하고 있는지 감지할 수 없습니다.
• 성능 변동성: 정의의 선택이 모델의 선택(약 5% 변동)보다 더 큰 성능 변화(최대 17% 정확도 변동)를 유도했습니다.

의의 및 주장

본 논문은 주석 작업에 있어 모델의 내재된 사전 지식과 작업 정의 사이의 개념적 정렬이 텍스트 수준의 암기력이나 모델 규모를 능가하는 성능의 주요 결정 요인이라고 주장합니다.

• 프롬프팅의 한계: 프롬프트 기반의 조종(steering)에는 근본적인 한계가 있습니다. "결정 고착성"은 프롬프팅이 정답을 공고히 하는 데는 효과적이지만, 특히 높은 신뢰도를 가진 오류를 구조(rescue)하는 데는 효과적이지 않음을 시사합니다.
• 신뢰성 리스크: 신뢰도가 정의 불일치를 알리는 신호 역할을 하지 못한다는 점은 "LLM-as-a-judge" 파이프라인에 심각한 위험을 초래합니다. 모델은 불확실성 기반의 안전장치를 작동시키지 않은 채 잘못된 기준을 자신 있게 적용할 수 있기 때문입니다.
• 실무적 시사점: 저자들은 주석 파이프라인이 대규모 배포 전에 (DSF 스타일의 체크와 같은) 정의 정렬을 측정하는 것을 우선시해야 하며, 신뢰도 점수를 정의의 유효성에 대한 대리 지표로 사용하는 것을 피해야 한다고 제안합니다. 또한 정의 설계가 모델 선택보다 더 영향력이 큰 1차 실험적 요소임을 강조합니다.

본 연구는 LLM이 강력한 도구이긴 하지만, 그들의 내재된 사전 지식이 행동을 고정시키는 닻 역할을 하여 프롬프트 기반 조종의 효과를 제한한다는 결론을 내립니다. 따라서 모델을 유연한 백지 상태의 주석가로 취급하기보다는 모델-정의 쌍에 대한 엄격한 검증이 필요합니다.