기술 요약: LinAlg-Bench

문제 제기

수학적 추론에 대한 대규모 언어 모델 (LLM) 의 현재 평가는 종종 난이도와 새로움을 혼동하며, 최종 정답의 정확성만 측정하고 지식 결핍과 실행 실패를 구분하지 않습니다. 지배적인 통계적 설명은 모델이 훈련 데이터 부족이나 일반적인 능력 한계로 인해 실패한다고 주장합니다. 본 논문은 재귀적 계산 부하 하에서의 LLM 실패가 무작위적이 아니라 구조적으로 제약받음을 주장합니다. 구체적으로, 실패 양상이 알고리즘 계열과 행렬 차원에 따라 예측 가능하게 변화하며, 측정 가능한 복잡성 임계값에서 실행 오류에서 계산 포기 (computational abandonment) 로 전환된다고 가정합니다. 선형대수학은 연산이 알고리즘적으로 정밀하고, 행렬 차원을 통해 기본 작업을 변경하지 않고 자연스럽게 확장되며, 각 수준이 정확히 하나의 계산 요구 사항을 추가하는 인지적 계층으로 분해될 수 있기 때문에 테스트베드로 선정되었습니다.

방법론

저자들은 수학적 지식에서 계산 깊이를 분리하도록 설계된 진단 벤치마크인 LinAlg-Bench를 소개합니다.

• 데이터셋: 벤치마크는 9 가지 작업 유형과 3 가지 행렬 차원 ($3\times3$, $4\times4$, $5\times5$) 에 걸쳐 분포된 660 개의 정수 항목 문제를 포함하며, SymPy 기호 계산을 통해 검증되었습니다. 이로써 6,600 개의 모델 출력이 철저히 평가되었습니다.
• 모델: 10 개의 최첨단 모델이 온도 0 에서 제로샷 (zero-shot) 으로 평가되었으며, 다양한 아키텍처 (Dense, MoE), 훈련 패러다임 (추론 최적화, RLHF, 하이브리드), 그리고 제공자 (OpenAI, Google, Anthropic, Meta, Alibaba, Mistral, DeepSeek) 를 포괄합니다.
• 인지 분류 체계: 작업은 다섯 가지 인지 수준으로 조직화됩니다:
  1. 읽기 (Reading): 순수 항목 추출 (Trace, Transpose).
  2. 산술 (Arithmetic): 병렬 독립 계산 (Matrix-Vector, Multiplication, Power).
  3. 순차적 (Sequential): 행 연산을 통한 상태 추적 (Rank, Nullity).
  4. 재귀적 (Recursive): 여인수 전개 (cofactor expansion) 를 통한 심층 재귀 부호 관리 (Determinant).
  5. 구성적 (Compositional): 부분 루틴으로서의 행렬식 (Determinant) 에 기반 (Eigenvalues).
• 수사 파이프라인: 3 단계 자동화 "LLM-as-a-Judge" 파이프라인은 1,156 개의 잘못된 응답을 10 가지 주요 오류 태그 (예: SIGN_ERROR, HALLUCINATION, MEMORY_LOSS) 와 4 가지 고유값 특화 확장으로 분류합니다. 분류는 계산이 기준 정답 (ground truth) 에서 벗어나는 가장 초기 단계를 태그하는 "최초 오류 원칙 (first-error principle)"을 따릅니다. 이 파이프라인은 593 개의 인간 주석 레이블에 대해 검증되어 92.6% 의 전체 일치율을 달성했습니다.
• 어블레이션 연구 (Ablation Study): 자연적으로 여인수 전개를 선호하는 모델에 대해 알고리즘적으로 효율적인 전략 (가우스 소거법) 을 강제하여 연산 횟수인지 실행 깊이인지가 진정한 병목인지 테스트했습니다.

주요 결과

1. fabrication-to-abandonment 임계값

핵심 실증적 발견은 $4\times4$ 규모에서 발생하는 급격한 행동 전환입니다.

• 임계값 이하 ($3\times3$): 모델은 계산을 시도하며 그 안에서 실패합니다. 실패는 SIGN_ERROR(33.0%) 및 ARITHMETIC과 같은 실행 오류가 지배적입니다.
• 임계값 이상 ($5\times5$): 모델은 시도하기 전에 계산을 포기합니다. 지배적인 실패 양상은 HALLUCINATION(47.1%) 으로 전환되며, 구체적으로 Complete_Collapse는 모델이 접근할 수 없는 도구 (Python/NumPy/WolframAlpha 호출 등) 를 시뮬레이션하는 도구 역할극 (tool roleplay) 이나 제약 일관성 있는 허구 (constraint-consistent confabulation) 를 통해 응답을 조작합니다.
• 보편성: 이 전환은 모든 모델 등급과 아키텍처에서 거의 보편적으로 발생하며, 지식 격차보다는 작업 기억 한계를 시사합니다.

2. 계층적 성능 및 실패 양상

모델은 성능 경계에 따라 세 가지 뚜렷한 계층으로 분리됩니다:

• 1 계층 (예: OpenAI-o1, Gemini-3.0-Pro, DeepSeek-V3): $5\times5$ 행렬식에서 $\ge74\%$의 정확성을 유지하지만 고유값 정확도는 거의 0 에 수렴합니다. 이들은 "fabrication-to-abandonment" 전환을 보이지만 재귀적 실행을 더 오래 유지합니다.
• 2 계층 (예: GPT-5.2, Mistral-Large): 재귀적 부하를 부분적으로 견디지만 구성적 수준에서 붕괴합니다.
• 3 계층 (예: GPT-4o, Llama-3.3-70B, Claude-4.5-Sonnet): 재귀적 수준 ($5\times5$ 행렬식 정확도 $\le12\%$) 에서 완전히 붕괴합니다.

3. 제약 인식적 허구 (Constraint-Aware Confabulation)

모델이 $5\times5$에서 고유값을 계산하지 못할 때, 임의의 숫자를 생성하지 않습니다. 대신 부분적인 수학적 제약을 만족하는 값을 조작합니다:

• 조작된 고유값 합 중 45% 가 행렬의 대각합 (trace) 과 일치합니다.
• 조작된 크기 중 85% 가 Frobenius 노름 경계를 준수합니다.
  이러한 "제약 인식적 허구"는 모델이 핵심 계산을 실패하는 동안 표면적 제약을 만족시키기 위해 부분 지식을 활용하는 구조화된 환각 모드를 나타냅니다.

4. 전략 vs 실행 깊이

이 연구는 알고리즘적 효율성 (연산 횟수) 이 주요 병목이라는 가설에 도전합니다.

• 관찰: 자연스러운 제로샷 환경에서 모델이 여인수 전개 ($O(n!)$) 에 경직되어 고정된 경우, 가우스 소거법 ($O(n^3)$) 을 사용하는 모델보다 더 빈번하게 붕괴했습니다.
• 어블레이션: 모델이 명시적으로 가우스 소거법을 사용하도록 강제되었을 때, 정확도는 의미 있게 회복되지 않았습니다 (예: Mistral-Large 는 26.9% 로 약간 개선되었으나, 다른 모델들은 0% 근처에 머무름).
• 결론: 병목은 선택된 알고리즘이 아니라 **자기회귀적 실행 깊이 (autoregressive execution depth)**입니다. 가우스 소거법은 높은 의존성을 가진 분수 산술의 엄격한 순차적 체인을 요구하며, 초기 단계의 단일 오류가 되돌릴 수 없이 전파되어 결과를 붕괴시킵니다. 반면, 여인수 전개는 수학적으로 더 비싸지만 병렬적이고 독립적인 정수 단계로 구성되어 트랜스포머가 실행하기에 더 안전합니다.

의의 및 주장

LinAlg-Bench 는 LLM 수학적 실패의 구조적 성격에 관한 수사적 분류 체계와 반증 가능한 실증적 발견을 기여합니다.

1. 구조적 제약: LLM 실패는 무작위적이지 않으며 알고리즘 계열과 행렬 차원에 의해 결정됩니다. 실행 오류에서 계산 포기로의 전환은 작업 기억 한계와 일치하는 측정 가능한 임계값입니다.
2. 새로운 실패 양상: 본 논문은 계산 과부하 하에서 발생하는 제약 인식적 허구와 도구 역할극 붕괴를 구별되는 구조화된 환각 메커니즘으로 문서화하며, 이는 표준 정확도 기반 벤치마크에서는 올바르게 분류되지 않거나 감지되지 않을 수 있습니다.
3. 메커니즘적 가설: 이 발견은 부호 추적 실패에 후기 계층 패리티 회로의 관여와 완전 붕괴 시 이러한 회로의 억제와 같은 메커니즘적 해석 가능성에 대한 검증 가능한 가설을 생성합니다.
4. 평가 방법론: 본 논문은 진단 벤치마크가 단순히 리더보드 순위를 생성하는 것이 아니라 반증 가능한 메커니즘적 가설을 생성해야 한다고 주장합니다. 알고리즘을 고정하고 차원을 확장함으로써 계산 깊이를 수학적 지식에서 분리할 수 있음을 보여줍니다.

저자들은 fabrication-to-abandonment 임계값과 작업 기억 설명이 데이터에 의해 직접 지지되는 주장임을 명시적으로 밝히며, 메커니즘적 해석 가능성 도구와 교차 영역 복제를 통한 검증을 요청합니다. 모든 데이터, 모델 출력, 오류 레이블 및 판사 파이프라인은 공개되었습니다.