기술적 요약: 벤치에서의 프롬핑: 대규모 사전 훈련은 LLM 을 일반적 의미 분석에 준비시키는 데 불충분함

문제 제기

본 논문은 미국 사법 관행에서 판사와 법학자들이 법적 텍스트의 "일반적 의미"를 규명하기 위해 대규모 언어 모델 (LLM) 을 활용하는 증가하는 추세를 다룬다. 이는 용어가 영어의 일반적 화자에 의해 어떻게 이해될 것인지 묻는 표준 해석 방법론이다. 연방 판사 케빈 뉴섬을 포함한 지지자들은 대규모 사전 훈련 데이터의 규모가 LLM 이 사전이나 소규모 설문조사 같은 전통적 도구보다 일반 언어 사용의 통계적 패턴을 더 효과적으로 종합할 수 있게 한다고 주장한다.

저자들은 대규모 사전 훈련과 지시 미세 조정 (instruction tuning) 이 신뢰할 수 있는 일반적 의미 분석이 가능한 모델을 생성하기에 충분하다는 가정에 도전한다. 그들은 엄격한 평가 없이 LLM 에 의존하여 고위험 사법 해석을 수행하는 것은 시기상조라고 본다. 핵심 문제는 다음과 같이 두 가지다:

1. 강건성 (Robustness): LLM 의 판단이 프롬프팅의 미세한 변화에 걸쳐 안정적인지 여부 (이는 NLP 에서 알려진 취약점임).
2. 상관관계 (Correlation): LLM 의 판단이 실제로 "일반적 의미" 문의의 대상인 일반인 독자들의 해석적 합의에 근접하는지 여부.

방법론

저자들은 Llama-3, OLMo-2, Mistral, Gemma, GPT-2 의 기본 및 지시 미세 조정 변형체를 포함하여 15 개의 LLM 과 폐쇄형 소스 GPT-4 를 대상으로 138 개의 법적 해석 시나리오에 걸쳐 대규모 실증 평가를 수행했다.

데이터 및 작업 구성:

• 시나리오: 이 연구는 실제 보험 계약 분쟁에서 파생된 138 개 항목 (원래 Waldon et al., 2023 에서 유래) 을 활용했다. 각 항목은 가상의 시나리오와 특정 보험 용어 (예: "조경", "내부 원천") 를 제시하며, 손실이 보상되는지 ("예") 아니면 보상되지 않는지 ("아니오") 에 대한 이진 판단을 요구한다.
• 인간 기준: 이 연구는 동일한 138 개 시나리오를 평가한 1,338 명의 원어민 영어 화자의 인간 판단과 모델 출력을 비교했다.
• 프롬프트 변형: 강건성을 테스트하기 위해 저자들은 각 항목에 9 가지 체계적인 질문 변형을 적용했다. 여기에는 다음이 포함된다:
  • 표준 예/아니오 및 아니오/예 순서.
  • 부정 (예: "존이 보상받지 않는 것입니까?").
  • 동의/부정 프레임 (예: "...에 동의합니까?").
  • 순서가 바뀐 다중 선택 옵션 (A/B).
• 측정:
  • 강건성: 각 모델 - 항목 쌍에 대해 9 가지 프롬프트 변형에 걸쳐 범주형 판단 (보상됨 vs 보상되지 않음) 의 일관성으로 측정.
  • 인간 상관관계: 모델의 확률 차이 ($\Delta = p(\text{보상됨}) - p(\text{보상되지 않음})$) 와 인간 "보상됨" 판단의 비율 사이의 결정 계수 ($R^2$) 를 사용하여 측정. 저자들은 모델의 토큰 확률을 인구 합의의 대리 변수로 간주했다.

주요 기여

1. 법적 해석에 대한 체계적 평가: 이 작업은 현재까지 법적 해석을 위한 LLM 에 대한 가장 광범위한 실험적 평가를 제공하며, 정성적 사례 연구나 소규모 재구문화 테스트 (예: Choi, 2025; Waldon et al., 2025) 를 넘어 통제된 대규모 데이터셋으로 이동했다.
2. 프롬프트 민감도 정량화: 저자들은 LLM 이 질문 변형에 걸쳐 "보편적인 일관성 부재"를 보임을 입증했다. 그들은 부정이나 옵션 순서와 같은 사소한 변화가 모델 판단에 극적인 변화를 일으켜 원하는 결과를 위한 "프롬프트 쇼핑"을 사실상 가능하게 함을 보였다.
3. 인간 상관관계 분석: 이 연구는 "전지전능" 가설 (훈련 데이터 규모가 인간과 유사한 직관과 같다는 가설) 을 엄격하게 테스트했다. 그 결과, 가장 성능이 좋은 모델조차 인간 합의와 단지 중간 정도의 상관관계만 보였으며, 이 상관관계는 특정 모델 크기와 프롬프트 구성에 크게 의존한다는 것을 발견했다.
4. 현재 사법 관행에 대한 비판: 이 논문은 일반적 의미를 규명하기 위해 직접적인 LLM 질의에 의존하는 최근 사법 의견에 대한 실증적 반박을 제시하며, 현재 모델이 그러한 사용을 위한 강건성과 인간 정렬의 필요 조건을 충족하지 못한다고 주장한다.

주요 결과

• 불안정성과 편향:
  • 멈춘 시계: 여러 모델 (15 개 중 6 개) 은 내용과 관계없이 92% 이상의 시나리오에 대해 동일한 범주형 판단을 제공하여 "멈춘 시계"처럼 행동했다.
  • 프롬프트 민감도: 2,070 개의 모델 - 항목 조합 중 2,061 개에서 모델은 9 가지 프롬프트 변형에 걸쳐 상충되는 판단을 산출했다. 완전한 만장일치를 보인 조합은 9 개뿐이었다.
  • 부정과 복잡성: 부정과 관련된 변형 (예: "부정에 대한 반대") 은 종종 소수 판단을 유발하고 가장 큰 분포적 변화를 초래했다 (제인 - 섀넌 거리로 측정).
• 인간 판단과의 상관관계:
  • 중간 정도의 상관관계: 오직 더 크고 지시 미세 조정된 모델 (특히 70B+ 파라미터) 만 인간 판단과 유의미한 상관관계를 보였으며, 이 경우에도 특정 프롬프트 변형에 대해서만 해당되었다.
  • 최상 시나리오: GPT-4 는 표준 예/아니오 변형에서 인간 판단과 가장 높은 상관관계 ($R^2 = 0.60$) 를 달성했다. 그러나 이는 오라클 분류기 정확도 83%(1/6 오류율) 로 이어졌으며, 저자들은 위험이 높은 법적 해석에는 이것이 불충분하다고 주장한다.
  • 불일치: 많은 모델의 경우 상관관계는 음수이거나 0 에 가까웠다. 일부 모델은 확률 분포에서는 강한 상관관계를 보였지만 압도적으로 편향된 범주형 출력 (예: 확률 기울기가 반대임을 시사함에도 불구하고 항상 "보상되지 않음"을 예측) 을 산출했다.
• 모델 크기와 미세 조정: 더 큰 모델이 일반적으로 더 잘 수행했지만, 지시 미세 조정은 예측 불가능한 편향을 도입하여 때로는 판단을 완전히 전환시켰다 (예: Llama-8B 미세 조정 모델은 주로 "보상되지 않음"을 예측한 반면, Llama-70B 미세 조정 모델은 "보상됨"을 예측함).

중요성과 주장

이 논문은 대규모 사전 훈련이 LLM 을 일반적 의미 분석에 준비시키는 데 불충분하다고 결론 내린다. 저자들은 LLM 이 일반인들이 단어를 사용하는 방식을 신뢰할 수 있게 밝힐 수 있다는 가정이 실증적 증거로 지지되지 않는다고 주장한다.

• 신뢰성 격차: 연구 결과는 모델이 일관되거나 재현 가능하지 않은 "신뢰성 격차"와 모델 출력이 일반 인간의 의미를 정확하게 측정하지 못하는 "인식론적 격차"를 강조한다.
• 사법적 주의: 저자들은 일반적 의미의 문제를 해결하기 위해 LLM 을 직접 질의하는 뉴섬 판사와 다른 이들의 접근 방식을 명시적으로 경고한다. 그들은 관찰된 취약성 (프롬프트 문구에 대한 민감도) 과 인간 합의에 대한 약한 상관관계가 현재 LLM 을 이러한 특정 법적 작업의 권위 있는 도구로 적합하지 않게 만든다고 단언한다.
• 향후 작업: 이 논문은 LLM 이 결코 법적 해석에 사용될 수 없다고 주장하지는 않지만, 사용되려면 현재 능력 이상의 엄격한 검증이 필요하다고 제안한다. 그들은 새로운 "추론" 모델이나 검색 메커니즘이 있는 시스템은 테스트되지 않았으며 일부 제한 사항을 완화할 수 있지만, 그러한 주장은 추가 실증적 증명이 필요하다고 지적한다. 그들은 현재 증거가 LLM 을 일반적 의미의 권위 있는 해석자로 사용하는 것에 대한 "입증 책임을 압도적으로 충족하지 못한다"고 말한다.