Does Slightly Mean Somewhat? Measuring Vague Intensity Words in LLM Numeric Actions

기술적 요약: LLM 수치 행동에서의 모호한 강도 단어 측정

문제 제기
언어 모델 (LLM) 이 에이전트 및 자연어 제어 시스템에 점점 더 많이 내장됨에 따라, 이러한 모델은 "약간 증가시키다", "극적으로 감소시키다"와 같은 모호한 인간 지시를 하류의 결과에 영향을 미치는 정밀한 수치 행동으로 변환해야 합니다. 이전 연구는 인간이 모호한 표현에서 서열 순위 (ordinal rankings) 를 유지하며 LLM 이 문구에 민감할 수 있음을 입증했지만, 통제된 환경에서 이러한 강도 수식어가 구체적인 수치 출력으로 어떻게 매핑되는지에 대한 이해에는 격차가 존재합니다. 구체적으로, 모델이 단일 수치 값을 선택하도록 강요받을 때 강도 단어의 가설적 서열 구조를 유지하는지, 시스템 상태 (컨텍스트) 가 이 매핑에 어떤 영향을 미치는지, 그리고 모델이 운영 가능성 경계 근처에서 어떻게 행동하는지에 대한 측정은 여전히 부족합니다.

방법론
본 연구는 언어에서 행동으로의 변환을 분리하기 위해 합성적이고 제약된 자원 할당 환경을 활용합니다.

• 실험 설정: 모델 (Claude Haiku) 은 10 가지 특정 강도 단어 중 하나를 사용하여 작업 할당을 증가시키도록 하는 자연어 지시를 받습니다. 결정론적 백엔드가 모델의 수치 도구 호출을 측정 가능한 결과로 변환합니다.
• 단어 척도: Quirk 등 (1985) 의 분류법에 기반한 6 가지 가설적 계층을 포괄하도록 10 개의 영어 정도 수식어가 선정되었습니다. 이는 약한 감소 (slightly, marginally) 에서 최대화 (drastically, dramatically) 에 이르기까지의 범위를 가집니다.
• 조건:
  1. 컨텍스트 없음: 지시에 현재 시스템 상태가 포함되지 않음 (예: "[WORD] 만큼 더 시간을 쓰다").
  2. 컨텍스트 조건부: 지시에 시작 할당이 포함됨 (예: "현재 할당은 X%입니다. 저는 [WORD] 만큼 증가시키기를 원합니다"). 0% 에서 89% 까지의 10 가지 기준 값 (반올림된 숫자와 비정규 값 포함) 이 테스트되었습니다.
  3. 통제: 정확한 숫자 프롬프트가 하네스 (harness) 를 검증했습니다.
• 매개변수: 실험은 온도 $T=0.0$ 및 $T=0.7$에서 수행되었으며, 셀 당 30 회 실행 (총 6,620 회 실행) 이 이루어졌습니다.
• 분석: 본 연구는 순서 상관관계 (ordinal correlation) 를 위한 스피어만 $\rho$와 출력의 분산을 설명하는 것이 단어 선택인지 시작 할당인지 결정하기 위한 효과 크기 ($\varepsilon^2$) 를 포함한 크루스칼 - 월리스 검정 등 비모수 통계를 활용합니다.

주요 결과
실험 전반에 걸쳐 세 가지 주요 패턴이 나타났습니다.

1. 강도의 압축: 컨텍스트가 없는 조건에서 모델은 10 가지 서로 다른 강도 단어를 단 5 가지의 서로 다른 중앙값 출력으로 압축합니다. 네 가지 최하위 계층 단어 (slightly, marginally, somewhat, mildly) 는 모두 변동이 없는 0.50 의 중앙 할당으로 매핑됩니다. 더 강한 단어들은 더 높은 영역 (0.60–0.70) 으로 분할됩니다. 강력한 순서 상관관계 ($\rho = 0.845$) 가 존재하지만, 세밀한 어휘적 구별은 붕괴됩니다.
2. 상태의 우세: 컨텍스트가 제공될 때, 시작 할당이 단어 선택을 압도합니다. 기준값으로 그룹화하는 것이 단어별로 그룹화하는 것보다 순위 기반 분산을 약 10 배 더 설명합니다 ($\varepsilon^2_{baseline} = 0.782$ 대 $\varepsilon^2_{word} = 0.079$). 시스템이 용량에 가까워질수록 단어 간의 구별은 0 으로 붕괴됩니다. 75% 기준값에서 10 가지 단어 모두 동일한 중앙값 출력을 생성합니다.
3. 불연속적 경계 행동: 실행 가능성 한계 (89% 시작 할당) 근처에서 모델은 사용된 단어에 의존하는 세 가지 뚜렷한 행동 모드를 보입니다:
   • 헤지 (Hedge): 약한 단어는 작은 조정을 가합니다.
   • 거부 (Abstain): 강한 단어 (예: considerably, substantially) 는 종종 제약을 이유로 완전히 행동하는 것을 거부합니다.
   • 밀어내기 (Push): 단어 drastically 는 독특하게 행동하여 할당을 지역 천장 (0.912) 까지 밀어 올리고 거부하지 않습니다.
     이러한 패턴은 온도 전반에 걸쳐 지속되며, $T$를 0.7 로 높이면 분포가 넓어지지만 세밀한 순서적 구별은 복원되지 않습니다.

주요 기여

1. 방법론: LLM 이 모호한 강도 단어를 수치 행동으로 매핑하는 방식을 측정하기 위한 통제된 도구로, 언어 - 행동 변환을 하류 시스템 노이즈와 분리합니다.
2. 압축의 증거: 모델이 거친 강도 영역은 유지하지만 세밀한 어휘적 구별을 동일한 수치 출력으로 붕괴시킨다는 문서화.
3. 컨텍스트 의존성: 컨텍스트 조건부 설정에서 현재 시스템 상태가 단어 선택을 압도한다는 정량적 증거로, 컨텍스트 불변 제어 신호로서의 모호한 지시 신뢰성을 약화시킵니다.
4. 경계 발견: 운영 한계 근처에서 단어 의존적 거부 및 범주적 모드 전환 (헤지, 행동, 거부) 의 식별로, 언어만으로는 보이지 않는 행동 정책의 불연속성을 드러냅니다.

의의 및 주장
본 논문은 LLM 매개 인터페이스에서 모호한 지시가 안정적이고 스칼라적인 행동으로 매핑된다고 가정해서는 안 된다고 주장합니다. 연구 결과에 따르면 모델의 운영 어휘는 표면적 언어가 시사하는 것보다 더 거칠며, 강도 단어의 의미는 단어와 시스템 상태의 결합된 함수이지 고정된 값이 아닙니다.

본 연구는 이러한 발견을 특정 정렬 문제로 제시합니다. 즉, 모델 매개 인터페이스가 운영자의 의도된 의미를 유지하는지 여부입니다. 결과는 혼합된 결과를 나타냅니다. 광범위한 강도 영역은 포착되지만 세밀한 구별은 손실되며, 경계 근처에서 행동은 불연속적으로 변합니다. 저자는 명시적으로 이 연구가 모델이 인간보다 "나쁘다"고 주장하지 않는다고 밝힙니다. 인간이 이러한 단어를 해석하는 것도 모호할 수 있기 때문입니다. 대신, 본 연구는 이 영역에서 테스트된 모델의 구체적인 행동 패턴을 문서화합니다. 논문은 이러한 패턴이 테스트된 모델과 도메인에 국한된 것이며, 향후 작업으로 인간 기준선, 모델 간 비교, 더 밀도 높은 실험 그리드를 포함할 계획이라고 결론지었습니다.