Large Language Models are Algorithmically Blind

이 논문은 대규모 언어 모델 (LLM) 이 알고리즘에 대한 선언적 지식은 풍부하지만, 실제 계산 과정을 추론하거나 알고리즘 실행 결과를 정확히 예측하는 데 있어 체계적이고 거의 완전한 실패를 보이는 '알고리즘적 맹목성'을 겪고 있음을 밝혀냈습니다.

핵심

이 논문은 **"거대 언어 모델 (LLM) 은 알고리즘의 성능을 예측하는 데 '시각 장애'를 가지고 있다"**는 놀라운 사실을 밝혀냈습니다.

쉽게 비유하자면, LLM 은 '이론책'은 아주 잘 읽었지만, '실제 운전'을 해본 적이 없는 초보 운전사와 같습니다. 이 차를 타고 어떤 길에서 얼마나 빠르게 갈 수 있는지, 혹은 연비가 얼마나 좋을지 말해달라고 하면, 책에서 본 내용을 바탕으로 "아마도 100km/h 정도일 거예요"라고 자신 있게 말하지만, 실제 운전해보니 20km/h 밖에 안 나옵니다.

이 논문의 핵심 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 연구의 배경: "책으로 배운 이론 vs 실제 도로 상황"

연구자들은 LLM 이 **"이 알고리즘을 쓰면 결과가 얼마나 나올까?"**라고 물었을 때, 실제로 실행해본 데이터 (정답) 와 비교해 보았습니다.

• 상황: 13 가지 다른 데이터 세트와 4 가지 다른 알고리즘을 조합해서 총 5,200 번이나 실행해 정확한 '정답'을 만들었습니다.
• 실험: 이 정답을 LLM 에게 보여주고, "이 알고리즘이 이 데이터를 처리할 때 정확도가 0.6~0.9 사이일 거야"라고 예측해 보라고 했습니다.

2. 충격적인 결과: "완전한 시각 장애 (Algorithmic Blindness)"

결과는 참담했습니다. LLM 들은 대부분의 경우 정답을 맞추지 못했습니다.

• 비유: LLM 이 "정확도는 0.6 에서 0.9 사이일 거야"라고 예측했는데, 실제 정답은 0.38 이었습니다.
• 범위의 문제: LLM 이 예측한 범위는 실제 오차 범위의 8 배에서 27 배나 더 넓었습니다. 마치 "내일 비가 올 확률은 0% 에서 100% 사이일 거야"라고 말하며 모든 가능성을 열어두는 것과 비슷합니다.
• 결과: 이렇게 범위를 아주 넓게 잡았는데도, 실제 정답이 그 안에 들어온 경우는 **100 번 중 16 번 (약 15.9%)**에 불과했습니다. 즉, 84% 는 틀렸습니다.

3. 왜 이런 일이 일어났을까? (기억 vs 추론)

연구자들은 LLM 이 실패한 이유를 **'기억 (암기)'**과 **'이해 (추론)'**의 차이에서 찾았습니다.

• 기억 (암기): LLM 은 인터넷에 떠도는 유명한 논문이나 벤치마크 데이터 (시험 문제) 를 많이 읽었습니다. 그래서 "아, 이 유명한 '아시아'라는 데이터에 'PC' 알고리즘을 쓰면 보통 이런 결과가 나오더라"라고 암기한 숫자를 뱉어냈습니다.
• 이해 (추론) 부재: 하지만 새로운 데이터나 조금만 변형된 데이터가 나오면 LLM 은 당황합니다. 알고리즘이 왜 그렇게 작동하는지, 데이터의 구조에 따라 결과가 어떻게 변하는지 원리를 이해하고 계산하는 능력이 없기 때문입니다.

비유:

수학 시험에서 '1+1=2'라는 문제만 1,000 번 풀어서 외운 학생이 있습니다. 시험장에 들어가서 "1+1 은 뭐지?"라고 물으면 2 라고 바로 답합니다. 하지만 갑자기 "1+1+1 은?"이라고 물으면, "아마 2 일 거야"라고 말하거나, "정답은 100 에서 1000 사이일 거야"라고 막연하게 말하며 틀립니다. LLM 이 바로 이런 상태입니다.

4. 구체적인 증거들

연구자들은 LLM 이 단순히 '추론'이 아니라 '암기'에 의존한다는 몇 가지 증거를 찾았습니다.

1. 익숙한 문제 vs 낯선 문제: LLM 은 유명한 벤치마크 데이터 (시험 문제) 에서는 조금 더 잘 맞췄지만, 연구자가 새로 만든 인공 데이터 (낯선 문제) 에서는 성능이 급격히 떨어졌습니다.
2. 모델 간 의견 불일치: 유명한 벤치마크 데이터에서는 여러 LLM 이 비슷한 답을 냈지만 (암기한 내용이 같아서), 새로운 데이터에서는 각자 엉뚱한 답을 냈습니다. (모두가 암기하지 않은 상태라 제각각 추측을 하기 때문)
3. 너무 넓은 범위: LLM 이 정답을 맞추지 못하자, "모르니까 범위를 아주 넓게 잡자"라고 생각한 듯, 실제 오차 범위보다 훨씬 넓은 범위를 예측했습니다. 하지만 그 넓은 범위 안에도 정답이 없었습니다.

5. 결론: "LLM 을 알고리즘 선택 도구로 쓰지 마세요"

이 논문의 결론은 매우 명확합니다.

"LLM 은 알고리즘이 어떤 데이터를 처리할 때 얼마나 잘 작동할지 예측하는 데 쓸 수 없습니다."

LLM 은 알고리즘에 대한 이론적 지식은 풍부하지만, 실제 성능을 예측하는 능력은 거의 없습니다. 마치 요리책에 모든 레시피가 다 실려 있다고 해서, 그 책을 읽은 사람이 실제 요리했을 때 맛을 정확히 예측할 수 있는 것은 아니라는 것과 같습니다.

요약하자면:
LLM 은 알고리즘의 성능을 예측할 때 눈이 먼 상태입니다. 우리가 LLM 을 믿고 "이 알고리즘을 쓰면 성공할 거야"라고 판단하면 큰 낭패를 볼 수 있습니다. 대신, LLM 을 사용할 때는 반드시 직접 실행해 보거나 (테스트), 실제 데이터를 기반으로 한 검증이 필수적입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 방대한 지식을 보유하고 있지만, 알고리즘의 성능을 주어진 문제 인스턴스에 대해 예측하는 능력은 아직 명확히 규명되지 않았습니다. 실무자들은 LLM 을 알고리즘 선택 및 배포 가이드로 활용하기를 원하지만, LLM 이 단순한 패턴 매칭 (기억) 을 하는지, 아니면 알고리즘의 구조적 특성을 이해하여 정교한 불확실성 추정이 가능한지는 검증되지 않았습니다.

이 연구는 **인과성 발견 (Causal Discovery)**을 테스트베드로 삼아, LLM 이 알고리즘의 성능 (정밀도, 재현율, F1 점수, 구조적 해밍 거리 등) 을 얼마나 정확하게 예측하고, 그 예측 범위가 실제 값 (Ground Truth) 을 포함하는지 (보정된 커버리지, Calibrated Coverage) 를 평가합니다.

2. 방법론 (Methodology)

연구팀은 5 단계에 걸친 엄격한 평가 파이프라인을 구축했습니다.

• Ground Truth 계산:
  • 데이터: bnlearn 리포지토리의 9 개 벤치마크 데이터셋과 4 개 합성 데이터셋 (노드 수 12~60) 총 13 개.
  • 알고리즘: PC, FCI, LiNGAM, NOTEARS 등 4 가지 인과성 발견 알고리즘.
  • 실행: 각 조건 (데이터셋 × 알고리즘) 당 100 회 부트스트랩 (Bootstrap) 재샘플링을 수행하여 총 5,200 회 알고리즘 실행을 통해 실제 평균 및 95% 신뢰구간을 산출했습니다.
• LLM 평가 프로토콜:
  • 모델: Claude-Opus-4.6, GPT-5.2, DeepSeek-V3.2 등 8 개의 최첨단 LLM.
  • 프롬프트: 데이터셋 특성과 알고리즘 가정을 입력받아 4 가지 성능 지표에 대한 예측 범위 (Range) 를 요청하는 3 가지 다른 프롬프트 변형을 사용했습니다.
  • 평가 지표: 보정된 커버리지 (Calibrated Coverage). LLM 이 예측한 범위가 실제 알고리즘 평균을 포함하는 비율을 계산했습니다. (예: 95% 신뢰구간을 예측했다면, 실제 값이 그 안에 들어와야 함).
• 기저선 (Baseline) 비교:
  • 무작위 예측 (Random Baseline) 과 휴리스틱 기반 예측 (Heuristic Baseline) 과 비교하여 LLM 의 성능을 평가했습니다.

3. 주요 기여 (Key Contributions)

1. 엄격한 테스트베드 정립: 인과성 발견을 LLM 의 알고리즘적 추론 능력을 평가하는 표준적인 테스트베드로 제시했습니다.
2. 대규모 보정 연구: 8 개의 모델, 13 개의 데이터셋, 4 개의 알고리즘, 4 개의 지표, 3 가지 프롬프트를 아우르는 대규모 실험 (총 1,664 회 비교) 을 수행했습니다.
3. 알고리즘적 맹목 (Algorithmic Blindness) 발견: LLM 이 알고리즘의 구조적 특성을 기반으로 calibrated(보정된) 기대치를 형성하지 못함을 입증했습니다.
4. 기억 (Memorization) 대 추론 (Reasoning) 구분: LLM 의 성능이 알고리즘적 이해가 아닌, 훈련 데이터에 포함된 벤치마크 통계의 기억에 기반함을 다양한 분석을 통해 증명했습니다.

4. 주요 결과 (Results)

A. 체계적인 커버리지 실패 (Systematic Coverage Failure)

• 평균 커버리지: 8 개 모델의 평균 보정된 커버리지는 **15.9%**에 불과했습니다. 즉, LLM 이 예측한 범위는 6 회 중 5 회 이상 실제 값을 포함하지 못했습니다.
• 무작위 추측보다 못한 성능: 8 개 모델 중 7 개가 무작위 예측 기저선 (36.5%) 보다 낮은 성능을 보였습니다. 가장 성능이 좋았던 Claude 모델조차 39.4% 로, 실용적인 알고리즘 선택 가이드로 사용하기엔 턱없이 부족했습니다.
• 범위의 왜곡: LLM 이 예측한 범위는 실제 신뢰구간보다 8 배에서 27 배까지 더 넓었음에도 불구하고, 여전히 실제 값을 포함하지 못했습니다. 이는 LLM 이 불확실성을 과소평가하거나 (과신), 단순히 무작위로 넓은 범위를 말하고 있음을 시사합니다.

B. 기억 (Memorization) vs. 추론 (Reasoning)

• 벤치마크 vs. 합성 데이터: LLM 은 훈련 데이터에 많이 포함된 벤치마크 데이터셋에서는 상대적으로 성능이 좋았으나, 훈련 데이터에 없는 합성 데이터셋에서는 성능이 급격히 떨어졌습니다.
• 알고리즘별 편차: LiNGAM 알고리즘의 경우, 벤치마크 데이터에서는 높은 커버리지를 보였으나 합성 데이터에서는 0% 에 가까운 성능을 보였습니다. 이는 LLM 이 알고리즘의 원리를 이해한 것이 아니라, 특정 알고리즘에 대한 기존 논문들의 통계치를 '기억'하고 있을 뿐임을 강력히 시사합니다.
• 모델 간 합의 (Agreement): 벤치마크 데이터에서는 모델 간 예측이 수렴하는 경향이 있었으나, 합성 데이터 (특히 노드가 많은 복잡한 그래프) 로 갈수록 모델 간 예측이 극도로 분산되었습니다. 이는 LLM 이 구조적 추론을 하지 않고 훈련 데이터의 유무에 따라 추측하고 있음을 보여줍니다.

C. 프롬프트 민감도

• 프롬프트의 미세한 변화에 따라 LLM 의 예측이 크게 달라졌으며, 이는 LLM 이 알고리즘 성능에 대해 안정된 확률적 신념 (calibrated beliefs) 을 가지고 있지 않음을 의미합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 알고리즘적 맹목 (Algorithmic Blindness): 이 연구는 LLM 이 알고리즘에 대한 선언적 지식 (declarative knowledge, 예: "PC 알고리즘은 조건부 독립성을 사용한다") 을 가지고 있더라도, 이를 실제 데이터 구조에 적용하여 정량적인 성능 예측 (procedural prediction) 을 수행하는 데 근본적인 한계가 있음을 정의했습니다.
• 실무적 함의: LLM 을 제로샷 (zero-shot) 알고리즘 선택자나 불확실성 추정기로 사용하는 것은 위험할 수 있습니다. LLM 의 추천은 실제 알고리즘 실행 결과를 대체할 수 없으며, 오히려 잘못된 신뢰를 줄 수 있습니다.
• 미래 방향: LLM 의 알고리즘적 추론 능력을 향상시키기 위해서는 단순한 지식 베이스 통합을 넘어, 알고리즘의 작동 원리와 데이터 특성 간의 인과적 관계를 학습할 수 있는 구조화된 성능 모델 (structured performance model) 이 필요함을 시사합니다.

요약하자면, 이 논문은 최첨단 LLM 들이 알고리즘의 성능을 예측할 때 '이해'가 아닌 '기억'에 의존하며, 이는 실제 적용 시 심각한 실패로 이어질 수 있음을 통계적으로 엄밀하게 증명했습니다.