기술 요약: 의미론적 콘텐츠가 알고리즘 성능을 결정한다

문제 정의

본 논문은 거대 언어 모델(LLM)의 본질에 관한 근본적인 질문, 즉 LLM이 알고리즘을 구현하는 것인지 아니면 단순히 이를 근사하는 것인지에 대한 문제를 다룬다. 알고리즘의 정의에 따르면, 알고리즘은 인자의 의미론적 콘텐츠에 대해 불변(invariant)해야 한다. 즉, 열 개의 항목을 세는 작업은 그 항목이 도시든, 화학 물질이든, 이름이든, 이모티콘이든 동일한 결과를 산출해야 한다. 그러나 선행 연구들은 LLM의 성능이 프롬프트 문구, 리스트 길이, 토큰화 아티팩트에 민로하다는 점을 밝혀냈다. 저자들은 만약 LLM이 진정으로 알고리즘을 구현한다면, 그 오류는 일반적인 한계(예: 컨텍스트 윈도우)를 반영해야 하며, 세는 대상이 '무엇'인지에 따른 체계적인 의존성을 보여서는 안 된다고 주장한다. 만약 성능이 의미론적 클래스에 따라 달라진다면, 해당 모델은 일반화 가능한 절차를 실행하는 것이 아니라 패턴 매칭을 하고 있는 것이다. 이러한 취약성은 매우 중요하다. 왜냐하면 LLM은 점점 더 프로덕션 파이프라인에 배치되고 있으며, 여기서 카운팅(counting)과 같은 원시 연산자(primitive operators)는 에이전트 및 복잡한 워크플로우를 구성하는 빌딩 블록 역할을 하기 때문이다.

방법론: WhatCounts

의미론적 불변성을 다른 혼란 변수로부터 격리하기 위해, 저자들은 카운팅 성능만을 고립시켜 테스트하도록 설계된 원자적 벤치마크인 WhatCounts를 도입한다.

• 실험 설계: 이 벤치마크는 단일 의미론적 클래스에서 유효하고 중복되지 않은 항목들을 포함하는, 모호함이 없는 구분된 리스트를 LLM에 제시한다. 과업은 엄격하게 항목을 세는 것이다.
• 의미론적 클래스: 여섯 가지 distinct한 클래스가 평가되었다: 주소, 화학 물질, 도시, 사람의 성명, 전화번호, 이모티콘.
• 통제 변수: 연구는 다음 사항들을 엄격히 통제하였다:
  • 리스트 길이: 라운딩 바이어스를 피하기 위해 특정 범위(예: 7–17, 85–115)에 걸쳐 개수를 변화시켰다.
  • 토큰화: 토큰 길이 효과를 배제하기 위해 모든 클래스에서 동일한 토큰 수를 갖도록 보장했다.
  • 포맷팅: 일관된 구분자(파이프 |)를 사용하였으며, 구분자에 대한 명시적 언급 여부를 테스트했다.
  • 추론: 생각의 사슬(Chain-of-Thought, CoT) 사용 여부와 추론 노력 수준의 변화를 테스트했다.
• 어블레이션 연구(Ablation Studies): 저자들은 식별(identification, 항목 분할)과 집계(aggregation, 항목 합산)를 구분하기 위해 특정 어블레이션을 수행했다:
  • 식별 테스트: 모델에게 개수를 세는 대신 항목을 XML 태그로 감싸도록 요청했다.
  • 집계 테스트: 이미 XML 태그로 감싸진 항목들을 세도록 모델에게 요청했다.
  • 토큰 셔플링(Token Shuffling): 토큰 통계는 유지하면서 의미론적 의미를 파괴하기 위해 각 항목 내의 토큰 순서를 섞었다.
• 평가된 모델: 네 가지 프런티어 모델이 테스트되었다: o3 (OpenAI), Claude-sonnet-4 (Anthropic), DeepSeek-V3, Kimi-K2 (Moonshot AI). 또한, 학습 영향력을 연구하기 위해 서로 다른 데이터셋(StackExchange, Nectar, HH-RLHF)으로 미세 조정된 Tulu2-13B 변형 모델들도 평가되었다.

주요 결과

1. 유의미한 의미론적 편차

프런티어 LLM들은 동일한 포맷과 리스트 길이를 가졌음에도 불구하고, 항목의 의미론적 클래스에 따라 40% 이상의 정확도 편차를 보인다.

• 의미론적 간극 ($\Delta_{sem}$): 특정 모델에 대해 의미론적 클래스 간의 최대 정확도와 최소 정확도의 차이로 정의된다.
• 역설적 발견: 평균 정확도가 가장 높은 모델(예: o3)이 종종 가장 큰 의미론적 간극을 보였다. 이는 강력한 모델이라고 해서 반드시 의미론적 취약성에 강한 것은 아님을 시사한다.

2. 표면적 설명의 배제

저자들은 변동성에 대한 대안적 설명들을 체계적으로 배제했다:

• 토큰 수: 토큰 수를 통제해도 간극이 사라지지 않았으며, 어떤 경우에는 토큰 수를 고정했을 때 의미론적 간극이 오히려 커지기도 했다.
• 구조 인식: 구분자를 명시하거나 항목을 XML 태그로 감싸는 방식은 변동성을 제거하지 못했다. 모델은 항목을 식별하고 감싸는 데는 성공(높은 정확도)했지만, 이를 정확히 세는 데는 실패했다. 이는 실패가 식별이 아닌 집계(aggregation) 단계에 있음을 나타낸다.
• 추론 노력: 추론 노력(예: o3에서의 노력)을 높이는 것은 카운팅 정확도를 개선하지 못했으며, 어떤 경우에는 의미론적 간극을 오히려 키웠다.
• 토큰 셔플링: 항목 내의 토큰을 섞어 의미론적 의미를 파괴했을 때 성능이 크게 변했다. 이는 모델이 순수한 구조적 카운팅보다는 토큰의 의미론적 분포에 의존하고 있음을 시사한다.

3. 불안정성 및 학습의 영향

• 예측 불가능한 변화: 관련 없는 데이터셋(예: StackExchange vs Nectar)으로 모델을 미세 조정하는 것은 성공하거나 실패하는 특정 의미론적 클래스를 예측 불가능하게 변화시켰다. 이는 이러한 취약성이 아키텍처의 특성이 아니라 학습된 가중치의 속성임을 나타낸다.
• 에이전트적 실패: 모델이 항목을 세기 위해 Python 실행 도구를 사용하는 에이전트 환경에서도 의미론적 간극은 지속되었으며, 베이스 모델에 비해 오히려 증가했다. 이는 이러한 취약성이 도구 사용 시나리오로 전파되어, "프롬프트 프로그래밍"의 가정을 약화시킨다는 것을 보여준다.

핵심 기여

1. WhatCounts 벤치마크: 토큰화의 모호성이나 다단계 추론과 같은 혼란 변수가 없는, 의미론적 불변성을 고립시킨 최소 단위의 원자적 벤치마크.
2. 알고리즘의 의미론적 의존성: 동일한 조건 하에서 카운팅 정확도가 의미론적 클래스에 따라 40% 이상 변한다는 실증적 증거를 제시함으로써, LLM이 불변하는 알고리즘을 구현하는 것이 아니라 인자 의존적인 근사치를 구현함을 입증함.
3. 불안정한 실패 모드: 관련 없는 데이터로의 미세 조정이 의미론적 클래스의 성패를 예측 불가능하게 변화시킨다는 것을 보여줌으로써, 이 간극이 모델의 가중치에 의해 구동됨을 확인함.
4. 다운스트림 리스크: 의미론적 취약성이 원시 연산자에서 도구 사용이 오류를 완화하지 못하는 에이전트 사례를 통해 프로덕션 신뢰성을 저해한다는 증거를 제시함.

의의 및 주장

본 논문은 LLM은 알고리즘을 구현하는 것이 아니라 근사하며, 그 근사는 인자 의존적이다라고 결론짓는다. 이는 프롬프트된 알고리즘이 전통적인 알고리즘(인자의 의미론적 클래스에 무관한 동작)처럼 작동할 것이라는 "프롬프트 프로그래밍"의 가정에 도전한다.

저자들은 가장 단순한 원시 연산(카운팅)조차 숨겨진 의미론적 의존성을 가진다면, 모든 LLM "함수"(정렬, 검색, 추출 등) 역시 유사한 숨겨진 의존성을 가질 수 있다고 주장한다. 이는 저수준 연산자의 콘텐츠 조건부 실패가 시스템 전체의 취약성으로 전파될 수 있는 에이전트 파이프라인의 신뢰성에 심각한 함의를 갖는다. 이 연구는 현재의 평가 방식이 의미론적 클래스 변동을 고려하지 않음으로써 모델의 강건성을 과대평가하고 있을 수 있음을 시사하며, 향후 벤치마크는 모델의 능력을 제대로 평가하기 위해 이 축을 반드시 고립시켜야 한다고 제언한다.