기술적 요약: 언어 모델 신뢰성 최소 탐지로서의 카운팅

문제 제기

수학적 추론, 코딩, 장문맥 이해와 관련된 벤치마크에서 놀라운 성능을 보이고 있음에도 불구하고, 대규모 언어 모델 (LLM) 이 진정한 논리적 능력을 보유하고 있는지, 아니면 패턴 매칭과 암기된 절차를 통해 규칙 실행을 모방하는 것뿐인지는 여전히 불분명합니다. 현재 평가 방법은 사실적 회상, 사전 학습 데이터 중첩, 그리고 휴리스틱 작업별 전략을 진정한 절차적 신뢰성과 혼동하는 지식 기반 벤치마크에 크게 의존합니다. 결과적으로 이 분야는 모델의 기계적 작동을 직접 평가할 수 있는 도구가 부족합니다. 구체적으로 의미 지식이나 모호성과 무관하게, 모델이 단순한 규칙 정의 절차를 얼마나 확장할 수 있는지, 그리고 내부 상태 추적이 실패하는 시점을 평가할 수 있는 도구가 결여되어 있습니다.

방법론

저자들은 의미 이해로부터 절차적 상태 유지를 분리하기 위해 고안된 순수 기계적 검사인 **안정적 카운팅 능력 (Stable Counting Capacity, SCC)**을 소개합니다.

• 검사 (The Assay): 모델은 구분자로 분리된 동일한 항목들의 시퀀스 (예: 반복된 문자) 를 제시받고, 정확한 개수를 단일 정수로 응답하도록 요청받습니다. 이 작업은 반복적입니다: 시퀀스 길이는 적응형 무작위 사다리 방식을 통해 증가하다가 모델이 일관되게 올바른 개수를 반환하지 못할 때까지 진행됩니다.
• 능력의 정의: **카운팅 능력 (Counting Capacity, CC)**은 모델의 규칙 추종 모방 능력이 붕괴되는 시퀀스 길이로 정의됩니다. 핵심적으로, 측정 단위는 토큰이 아닌 *항목 (item)*이며, 프롬프트에는 변화하는 기호나 외부 기억 보조 도구가 포함되지 않습니다.
• 범위: 이 연구는 지시 조정 (instruction-tuned) 및 추론 증강 (reasoning-augmented) 모델들을 포함하여 다양한 파라미터 수와 명목상 컨텍스트 윈도우를 가진 126 개 이상의 모델 변형을 평가했습니다. 여기에는 독점 시스템과 오픈 가중치 아키텍처가 모두 포함되었습니다.
• 기계적 탐지 (Mechanistic Probes): 오픈 가중치 모델 (특히 Gemma 3 27B-it 및 Qwen 3.5 35B-A3B) 에 대해 저자들은 다음과 같은 내부 분석을 수행했습니다:
  • 잔류 스트림 투영 (Residual Stream Projections): 계층 전반에 걸쳐 카운팅 관련 좌표를 추적하기 위해 선형 투영을 적합화합니다.
  • 로그트 분석 (Logit Analysis): 교사 강제 (teacher forcing) 하에서 정답 토큰과 경쟁 토큰 간의 분리를 측정합니다.
  • 희소 오토인코더 (Sparse Autoencoders, SAE): Gemmascope 2 를 사용하여 카운팅과 상관관계가 있는 특징 군집을 식별합니다.
  • 활성화 패치 (Activation Patching): 내부 상태 (최종 토큰 대 전체 시퀀스) 에 개입하여 출력에 대한 인과적 통제를 테스트합니다.
• 비교 분석: SCC 결과는 표준 벤치마크 (GPQA Diamond, SWE-bench Verified, ARC-AGI-2) 와 상관관계를 분석하고, 이중 작업 간섭 (추론/코딩 문제를 해결하면서 카운팅하기) 에 대해 테스트되었습니다.

주요 결과

1. 컨텍스트 한계 이하의 보편적 실패

평가된 모든 모델에서 안정적 카운팅 능력은 광고된 컨텍스트 한계보다 일관되게 훨씬 낮습니다. 장문맥 윈도우를 가진 모델조차도 해당 윈도우의 대부분을 통해 단순한 카운팅 변수를 유지하지 못합니다. 긴 프롬프트를 처리할 수 있다는 능력이 그 안을 통해 단순한 규칙 정의 변수를 전달할 수 있는 능력을 의미하지는 않습니다.

2. 갑작스러운 구조적 붕괴

모델들은 완벽한 정확도의 "안정적 영역"을 보이다가 CC 경계 근처에서 갑작스럽고 구조적인 붕괴를 겪습니다.

• 실패 후 행동: 능력이 초과되면 모델은 작은 점진적 오류를 생성하지 않습니다. 대신 500, 1000, 2000 과 같은 눈에 띄는 반올림된 숫자로 점프하거나 빈칸, 프롬프트 반복, 코드 아티팩트와 같은 비수치적 출력을 생성합니다.
• 이산적 끌개 (Discrete Attractors): 실패한 출력들은 제한된 선호 정수 집합 주위에 군집하며, 이는 연속적인 근사 오류가 아닌 특정 절차적 상태의 상실을 나타냅니다.

3. 무한한 논리가 아닌 유한한 내부 상태

기계적 분석은 성공적인 카운팅이 개방형 논리적 일반화가 아니라 "손가락으로 세기"와 유사한 유한한 수의 카운팅 유사 내부 상태에 의존함을 보여줍니다.

• 선형 궤적: 성공적인 카운팅 동안 잔류 스트림에 카운트를 추적하는 선형적으로 읽을 수 있는 좌표가 나타납니다. 이 구조는 모델이 실패할 때 정확히 붕괴됩니다.
• 구문 민감성: 내부 상태는 추상적이지 않으며, 특정 문자와 구분자 궤적에 의존합니다. 구문을 변경하면 CC 가 이동하는데, 이는 모델이 공유된 추상 카운터를 사용하는 대신 서로 다른 표면 형태에 대해 서로 다른 궤적을 조립함을 시사합니다.
• 인과적 통제: 활성화 패치는 카운팅 정보가 중간 계층 (예: 31 층) 에서 구성되어 디코딩 전에 최종 프롬프트 상태 (예: 53 층) 로 전달됨을 보여줍니다. 이러한 상태가 소진되면 정보는 디코더가 사용할 수 있는 형태로 더 이상 존재하지 않습니다.

4. 테스트 시간 계산의 비효율성

생성 길이를 늘리거나 "추론" 모델 (Chain-of-Thought) 을 사용하는 것은 잃어버린 카운팅 능력을 신뢰성 있게 복원하지 못합니다.

• 토큰 소비: 추론 모델은 종종 기본 모델보다 훨씬 많은 토큰을 소비하지만 CC 에서 무시할 수 있거나 부정적인 개선만 보입니다.
• 자원 경쟁: 이중 작업 실험에서 복잡한 추론이나 코딩 작업과 카운팅을 결합하면 카운팅 정확도가 심각하게 방해받습니다. 이는 복잡한 문제 해결과 기본 절차 추적이 동일한 제한된 내부 자원을 위해 경쟁함을 시사합니다.

5. 벤치마크의 맹점

SCC 와 표준 벤치마크 (지식, 코딩, 유동 지능) 간의 상관관계는 약에서 중간 수준입니다.

• ARC-AGI-2 이상: log(CC) 와 ARC-AGI-2 점수 간의 강한 선형 상관관계는 벤치마크 공개 이후 훈련된 모델들에게서만 나타납니다. 이는 최신 모델들이 벤치마크의 특정 추상 형식에 적응하여 장기간에 걸친 절차적 상태 유지의 근본적 불가능성을 가리고 있음을 시사합니다.

중요성과 주장

이 논문은 유창한 성능에도 불구하고 현재 LLM 들이 일반적이고 신뢰할 수 있는 규칙 추종 행동을 보장하지 않는다고 주장합니다.

• 절차적 취약성: 이 발견들은 현재 평가의 중요한 맹점을 드러냅니다: 집계 작업에서의 높은 점수는 근본적인 절차적 신뢰성을 확립하지 못합니다. 모델은 수천 단계를 거치며 절차를 실행하는 것처럼 보일 수 있지만, 그 절차를 정의하는 데 필요한 변수를 조용히 잃어버릴 수 있습니다.
• 실패의 메커니즘: 실패는 "지능" 부족 때문이 아니라, 모델이 유한한 내부 상태 집합에 의존하는 구조적 제한 때문입니다. 이러한 상태가 소진되면 규칙 추종의 "환상"은 추측으로 붕괴됩니다.
• 아키텍처적 함의: 저자들은 단순히 모델 크기, 학습 데이터, 또는 테스트 시간 계산을 늘리는 것은 이러한 신뢰성 문제를 해결하기에 불충분하다고 주장합니다. 자율 시스템 (계획, 도구 사용, 코딩) 에 대한 신뢰성의 진정한 개선은 지속적 변수, 명시적 중간 상태, 외부 메모리, 또는 검증 가능한 실행 흔적에 대한 아키텍처적 지원을 필요로 할 것입니다.
• 평가의 전환: 이 논문은 벤치마크 성능이나 명목상 컨텍스트 길이에서 신뢰성을 추론하기보다, 진정한 운영 한계를 드러내기 위해 SCC 와 같은 최소적, 비의미적 기계적 검사의 채택을 옹호합니다.