When LLMs Stop Following Steps: A Diagnostic Study of Procedural Execution in Language Models

다음은 논문 "When LLMs Stop Following Steps: A Diagnostic Study of Procedural Execution in Language Models"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

대형 언어 모델 (LLM) 은 추론 벤치마크에서 강력한 성능을 보이지만, 높은 최종 답변 정확도가 반드시 프롬프트에 제공된 특정 절차를 모델이 신뢰성 있게 실행했음을 보장하지는 않습니다. 모델들은 종종 지시된 단계를 실제로 따르지 않고도 그럴듯한 답변에 도달하기 위해 단축키, 패턴 매칭, 암기된 연관성, 또는 불안정한 중간 계산을 의존합니다.

이 구분은 알고리즘의 엄격한 준수가 필요한 응용 분야 (예: 수치 계산, 규칙 기반 의사결정, 구조화된 워크플로우) 에 있어 매우 중요합니다. 본 논문은 특히 작업 복잡도가 증가함에 따라 "추론하는 것처럼 보이는 것"과 "지시를 신뢰성 있게 실행하는 것" 사이의 간극을 다룹니다.

2. 방법론

저자들은 작업 해석의 모호성으로부터 절차적 실행 실패를 분리해 내도록 설계된 통제된 진단 벤치마크를 도입합니다.

• 작업 구성:

  • 입력: 두 개의 수치 변수 ($x$ 및 $y$).
  • 절차: 자연어로 작성된 단계별 산술 알고리즘. 이 알고리즘은 $S_1=x$와 $S_2=y$를 초기화한 후, 기본 산술 연산 ($+, -, \times, \div$) 을 사용하여 일련의 중간 변수 ($S_3, S_4, \dots$) 를 정의합니다.
  • 목표: 모델은 작성된 대로 알고리즘을 정확히 실행하여 최종 계산된 값을 반환해야 합니다.
  • 정답 (Ground Truth): 외부 실행기를 통해 결정론적이고 쉽게 검증 가능하며, 모호성을 제거합니다.

• 복잡도 축:

  1. 알고리즘 길이: 단계 수 ($T$) 는 5 에서 95까지 (10 씩 증가) 변합니다.
  2. 되돌아보기 의존성 (Look-back Dependencies): 상태 추적을 스트레스 테스트하기 위해, 현재 단계가 이전 단계의 중간 변수를 검색해야 하는 의존성을 벤치마크에 도입합니다.
     • 되돌아보기 1: 직전 단계에만 의존합니다.
     • 되돌아보기 7: 이전 7 단계 중 어느 것에든 의존합니다.

• 데이터셋 구성:

  • 규모: 총 55,000 개의 예시로 구성된 55 개의 데이터셋.
  • 변수: 입력 범위 ($[0,1], [1,10], [10,100]$), 데이터 유형 (정수 대 부동 소수점), 연산 변형 (혼합, 덧셈 전용, 뺄셈 전용 등) 의 조합.

• 평가된 모델:

  • 14 개 모델: 다양한 규모 (15 억에서 6,850 억 파라미터) 와 계열 (DeepSeek, Qwen, Mistral, OLMo, OpenAI 등) 을 아우르며, 표준 지시 미세 조정 모델과 추론 지향 모델 모두 포함합니다.

• 평가 지표:

  • 첫 번째 답변 정확도: 추출된 첫 번째 답변의 정확성.
  • Correct@Any: 출력 내 어떤 답변 구간이라도 정확하면 정확함으로 간주 (자기 수정 포착).
  • 비-null 답변율: 유효한 <answer> 태그를 포함한 출력의 비율.
  • 단계 따르기 행동: 정확 (Exact)(올바른 단계), 미실행 (Under-execution)(조기 종료), 과실행 (Over-execution)(추가 단계) 으로 분류.

3. 주요 기여

1. 진단 벤치마크: 최종 답변 정확도뿐만 아니라 절차적 충실도를 측정하도록 특별히 설계된 새로운 통제 환경.
2. "절차적 착시"에 대한 경험적 증거: 전체 알고리즘이 명시적으로 제공되더라도 복잡도가 증가함에 따라 LLM 이 이를 신뢰성 있게 실행하지 못하는 경우가 빈번함을 입증.
3. 실패 모드 분석: 최종 정확도만 볼 때는 보이지 않는 생성 수준의 특정 실패 모드 (예: 미실행, 답변 누락, 조기 답변) 를 식별.
4. 의존성 깊이 민감성: 모델이 긴 시퀀스뿐만 아니라 **비국소적 상태 검색 (되돌아보기 의존성)**에서도 크게 어려움을 겪음을 보여줌.

4. 주요 결과

• 복잡도에 따른 정확도 저하:

  • 단계 수: 평균 첫 번째 답변 정확도가 **5 단계에서 61%**에서 **95 단계에서 20%**로 급격히 하락.
  • 되돌아보기 깊이: 되돌아보기 의존성을 1 에서 7 로 늘리면 평균 정확도가 추가로 18.43 퍼센트 포인트 감소하여, 비국소적 중간 상태를 추적하는 데 특정 약점이 있음을 시사.

• 생성 수준 실패 모드:

  • 미실행: 단계 수가 증가함에 따라 "미실행"된 생성 (최종 단계 전에 중단) 의 비율이 **24.25% 에서 50.87%**로 상승.
  • 정확 실행: **70.88% 에서 46.84%**로 하락.
  • 조기 답변: 많은 모델이 추론 흔적을 완료하지 않고 출력 초기에 답변을 생성하여, 실행보다는 패턴 매칭에 의존함을 시사.

• 입력 및 작업 요인:

  • 연산 유형: 덧셈과 뺄셈 작업은 일반적으로 곱셈과 나눗셈보다 높은 정확도를 보임.
  • 크기: 수치 크기는 특정 변형 (예: 곱셈) 에서 성능에 영향을 미치지만, 정확도의 광범위한 저하를 완전히 설명하지는 않음. 주요 원인은 상태를 추적하는 절차적 부담임.
  • 모델 규모: 더 큰 모델이 일반적으로 더 잘 수행하지만, 복잡도에 따른 정확도 하락 경향은 모든 모델 규모에서 유지됨.

• 자기 수정:

  • "Correct@Any"가 종종 "첫 번째 답변 정확도"보다 높지만, 이는 모델이 초기 오류를 범하고 자기 수정을 시도하지만 여전히 필요한 엄격한 절차적 흐름을 유지하지 못함을 드러냄.

5. 중요성 및 함의

• 현재 추론의 한계: 본 연구는 "생각의 사슬 (Chain-of-Thought)"이나 더 긴 추론 흔적이 신뢰성 있는 지시 수행과 동일하다는 가정에 도전합니다. 모델들은 종종 과정을 "환각"시키거나 단계를 완전히 건너뛰면서도 그럴듯한 최종 숫자를 생성합니다.
• 안전성과 신뢰성: 금융 계산, 정책 집행과 같은 고위험 응용 분야에서 LLM 에 명시적인 다단계 절차 실행을 의존하는 것은 현재 위험합니다. 단계 건너뛰기나 중간 상태 환각으로 인해 침묵 속에 실패할 수 있기 때문입니다.
• 향후 방향: 이러한 발견은 다음이 필요함을 시사합니다.
  • 절차적 편차를 명시적으로 처벌하는 새로운 학습 목표.
  • 알고리즘의 결정론적 부분을 처리하기 위한 도구 증강 에이전트 (외부 계산기/실행기 사용).
  • 더 나은 장기 상태 추적 및 비국소적 의존성 해결을 위한 아키텍처 개선.

결론적으로, 본 논문은 LLM 이 문제를 진정으로 "생각"하는지 아니면 단순히 결과를 "추측"하는지 평가하기 위한 엄격한 렌즈를 제공하며, 절차적 복잡도가 증가함에 따라 신뢰성 있는 지시 수행에 상당한 약점이 있음을 드러냅니다.