AgentCoMa: A Compositional Benchmark Mixing Commonsense and Mathematical Reasoning in Real-World Scenarios

이 논문은 일상적 상식과 수학적 추론을 결합한 새로운 벤치마크 'AgentCoMa'를 제안하여, 대형 언어 모델이 개별 단계는 잘 수행하지만 두 추론 유형이 혼합된 복합 과제에서는 인간에 비해 약 30% 의 성능 저하를 보이며 취약함을 드러냈음을 보고합니다.

핵심

1. 🍳 요리사 비유: "재료는 좋은데 레시피를 섞으면 실패?"

생각해 보세요. 아주 뛰어난 요리사가 있다고 칩시다.

• 상식 (Commonsense): "양파는 껍질을 벗겨야 한다"는 것을 압니다. (매우 쉬움)
• 수학 (Math): "양파 3 개를 2 개로 나누면 1.5 개"라는 계산도 정확히 합니다. (매우 쉬움)

이 요리사는 각각의 작업은 혼자서 완벽하게 해냅니다. 하지만, 이 두 가지를 섞어서 "양파 껍질을 벗긴 후, 남은 양파를 2 개로 나누어 요리하세요"라고 말하면 어떨까요?

놀랍게도 이 요리사는 혼란에 빠져서 양파를 제대로 나누지 못하거나, 아예 껍질을 벗기는 것을 잊어버리고 수학적 계산만 하거나, 반대로 계산은 안 하고 껍질만 벗기는 실수를 합니다.

이 논문은 바로 이 현상을 연구했습니다. "AI 는 각각의 일은 잘하는데, 서로 다른 종류의 일 (상식 + 수학) 을 섞어서 한 번에 하라고 하면 왜 그렇게 무너지는 걸까?"

2. 🔍 실험 내용: 61 명의 'AI 요리사'를 테스트하다

연구팀은 AgentCoMa라는 새로운 시험지를 만들었습니다.

• 시험지 특징: 모든 문제는 상식 문제와 수학 문제가 하나로 합쳐져 있습니다.
  • 예시: "식당에서 햄버거 (상식: 햄버거는 먹을 수 있음) 와 돌 (상식: 돌은 먹을 수 없음) 이 있습니다. 먹을 수 있는 것 20 개를 사려면 얼마가 들까요? (수학: 가격 계산)"
• 참가자: 최신 AI 모델 61 개 (작은 것부터 거대한 것까지).
• 결과:
  • AI 들은 상식 문제만 내면 85% 이상 맞췄습니다.
  • 수학 문제만 내면 85% 이상 맞췄습니다.
  • 하지만 두 가지를 섞어서 내면 정답률이 **약 42%**로 뚝 떨어졌습니다! (약 30% 이상 하락)

이건 마치 수학 천재가 "1+1=2"는 알지만, "1+1=2 인데, 그걸로 사과를 2 개 사면 얼마일까?"라고 물으면 "사과가 뭐야? 1+1=2 는 맞는데..."라며 당황하는 것과 비슷합니다.

3. 🤔 왜 이런 일이 일어날까? (AI 의 뇌를 들여다보다)

연구팀은 AI 가 왜 실패하는지 그 '뇌' (신경망) 를 분석했습니다.

• 원인 1: 훈련 데이터의 부재
  AI 는 훈련할 때 '상식 문제'와 '수학 문제'를 따로따로 많이 봤습니다. 하지만 **"상식과 수학을 섞어서 해결하는 문제"**는 거의 본 적이 없습니다. 마치 오직 '한국어'와 '영어'만 따로 배운 학생에게 "한국어와 영어를 섞어서 문장을 만들어라"고 시키는 것과 같습니다. AI 는 익숙하지 않은 패턴에 당황하는 것입니다.

• 원인 2: 뇌의 특정 부위만 작동함
  AI 의 뇌 (뉴런) 를 살펴보니, 문제를 풀 때 수학 부분만 활성화되고 상식 부분은 잠자는 경우가 많았습니다.

  • 비유: 자동차를 운전할 때 (상식), 브레이크 (수학) 만 밟고 핸들을 놓아버리는 꼴입니다. AI 는 "아, 수학 문제구나!"라고 생각하면 상식적인 판단을 잊어버리고 수학 계산만 하느라 엉뚱한 답을 내놓습니다.

4. 👨‍👩‍👧‍👦 인간은 어떨까?

흥미롭게도, **일반인 (비전문가)**에게 같은 문제를 풀게 했을 때는 AI 와 달리 혼합 문제와 개별 문제의 정답률 차이가 거의 없었습니다.
인간은 상식과 수학을 자연스럽게 섞어서 생각할 수 있지만, AI 는 아직 그 '연결 고리'가 약한 것입니다.

5. 💡 결론: AI 는 아직 '유연한 사고'가 부족하다

이 연구는 우리에게 중요한 메시지를 줍니다.

• AI 는 단순한 계산이나 단순한 지식은 잘하지만, **실제 생활처럼 복잡한 상황 (상식 + 계산 + 상황 판단)**에서는 여전히 무겁고 깨지기 쉽습니다 (Brittle).
• 앞으로 더 똑똑한 AI 를 만들려면, 단순히 지식을 더 쌓는 게 아니라 서로 다른 종류의 사고를 자연스럽게 연결하는 법을 가르쳐야 합니다.

한 줄 요약:

"AI 는 '상식'과 '수학'을 각각은 잘하지만, 둘을 섞으면 뇌가 혼란스러워져서 엉뚱한 답을 내놓습니다. 마치 **요리사에게 "양파 껍질을 벗기면서 동시에 3 곱하기 4 를 계산하라"**고 시켰을 때, 양파를 벗기는 건 잊어버리고 숫자만 외치는 꼴입니다. 이제 AI 는 이 두 가지를 동시에 잘할 수 있도록 훈련이 필요합니다."

기술 요약

1. 문제 정의 (Problem)

기존의 LLM 벤치마크는 상식 추론 (Commonsense Reasoning) 이나 수학적 추론 (Mathematical Reasoning) 중 한 가지 유형에 집중하거나, 동일한 유형의 추론 단계를 여러 번 조합하는 데 초점을 맞추고 있습니다. 그러나 실제 실세계 에이전트 (예: 장보기 계획, 여행 일정 수립) 는 서로 다른 유형의 추론 (상식 + 수학) 을 결합하여 문제를 해결해야 합니다.

• 핵심 가설: LLM 은 개별 추론 단계 (상식만, 수학만) 에서는 높은 정확도를 보이지만, 이 두 가지가 혼합된 혼합형 구성적 추론 (Mixed-type Compositional Reasoning) 과제에서는 성능이 급격히 저하될 것이다.
• 현재의 한계: 기존 벤치마크는 도구 호출이나 긴 작업 시간 등 다른 난이도 요소를 포함하여, 순수한 '혼합 추론 능력'을 통제된 환경에서 평가하기 어렵습니다.

2. 방법론 (Methodology)

2.1 AgentCoMa 벤치마크 구축

• 구조: 각 질문은 상식 추론 단계 (예: 어떤 물건이 실온 보관이 가능한지 판단) 와 수학적 추론 단계 (예: 선택된 물건의 총 가격 계산) 로 구성됩니다.
• 도메인: 5 가지 실세계 에이전트 시나리오 (집안일, 온라인 쇼핑, 과학 실험, 스마트 어시스턴트, 여행 에이전트) 에 기반합니다.
• 데이터 생성: 전문가 annotator 들이 수동으로 생성하였으며, LLM 을 사용한 자동 생성은 배제했습니다. (GPT-4o 를 이용한 사전 실험에서 LLM 이 이러한 혼합형 질문을 스스로 생성하는 데 실패함을 확인했습니다.)
• 검증: 각 샘플은 다단계 검증 과정을 거쳐 상식적 정확성과 수학적 정확성을 모두 확보했습니다. 총 260 개의 샘플 (테스트 세트 180 개, 개발 세트 80 개) 로 구성되었습니다.

2.2 실험 설정

• 모델: 61 개의 다양한 LLM (크기 1.5B~141B, 지시 튜닝, SFT 기반 추론 모델, RL 기반 추론 모델 포함) 을 평가했습니다.
• 평가 방식: Few-shot Chain-of-Thought (CoT) 프롬핑을 사용하여 추론 과정을 유도하고, 정답과 비교하여 정확도를 측정했습니다.
• 비교 대상: 기존 구성적 벤치마크인 Bamboogle (상식 기반) 과 MultiArith (수학 기반) 와의 성능 비교를 통해 '구성성 간격 (Compositionality Gap)'을 분석했습니다.

3. 주요 결과 (Key Results)

3.1 성능 저하 (Compositionality Gap)

• 개별 단계 vs 결합 단계: 61 개 모델의 중앙값은 개별 상식 단계와 수학 단계에서 각각 85% 이상의 정확도를 보였습니다. 두 단계를 모두 개별적으로 맞춘 비율도 약 75% 였습니다.
• 혼합 과제 성능: 그러나 두 단계를 결합한 AgentCoMa 전체 과제에서는 중앙값 정확도가 **42%**로 급락했습니다.
• 간격 (Gap): 평균적으로 **약 30%**의 성능 격차가 발생했습니다. 이는 기존 동종 유형 (상식+상식, 수학+수학) 벤치마크에서 관찰된 간격보다 훨씬 큽니다.
• 인간 비교: 비전문가 인간 annotator 들은 개별 단계와 결합 단계 모두에서 **약 83%**의 높은 정확도를 보여, 모델의 성능 저하가 인간의 인지 능력과는 대조적임을 확인했습니다.

3.2 실패 원인 분석

• 개별 단계 성공 시의 실패: 모델이 개별 상식 단계와 수학 단계를 모두 올바르게 풀 수 있음에도 불구하고, 결합된 질문에서는 틀린 답을 내놓는 경우가 전체 실패의 **약 74%**를 차지했습니다. (더 큰 모델일수록 이 비율이 83% 까지 상승)
• 학습 데이터의 부재: Min-K%++ 분석을 통해 혼합형 추론 패턴이 LLM 의 학습 데이터에서 상대적으로 드물게 나타남을 확인했습니다.
• 신경망 활성화 패턴 (QRNCA):
  • 모델은 결합 과제를 풀 때 수학적 추론에 관련된 뉴런만 활성화하고, 상식 추론에 필요한 뉴런은 비활성화하는 경향이 있었습니다.
  • 결합 과제의 뉴런 활성화 패턴은 수학 단계와 3954% 겹치지만, 상식 단계와는 310% 만 겹쳤습니다.
  • 이는 모델이 학습된 단일 추론 유형 (주로 수학) 의 신경 회로에 의존하여, 상식적 맥락을 무시하고 '환각 (Hallucination)'을 일으킨다는 것을 의미합니다.
• 주의 집중 (Attention): 결합 질문에서 모델은 컨텍스트에 대한 주의 집중 (Lookback Attention) 비율이 개별 단계보다 유의미하게 낮았습니다.

4. 주요 기여 (Contributions)

1. AgentCoMa 벤치마크 도입: 실세계 에이전트 시나리오에 기반하여 상식과 수학을 동시에 요구하는 최초의 체계적인 벤치마크를 제시했습니다.
2. 대규모 벤치마킹 및 발견: 61 개의 최신 LLM 을 평가하여, 모든 모델이 혼합형 구성적 추론에서 심각한 성능 격차를 보임을 입증했습니다. 이는 RL 기반 추론 최적화 모델조차도 이 문제를 해결하지 못했음을 의미합니다.
3. 근본적 취약성 규명: 모델이 학습 데이터에서 혼합 패턴을 접할 기회가 적어, 추론 시 적절한 뉴런을 활성화하지 못하고 단일 유형 추론 회로로 회귀한다는 것을 신경망 분석을 통해 설명했습니다.

5. 의의 (Significance)

이 연구는 LLM 이 복잡한 실세계 작업을 수행할 때 겪는 **근본적인 취약성 (Brittleness)**을 드러냈습니다. 단순히 추론 능력을 강화하는 것만으로는 부족하며, 서로 다른 추론 유형을 통합적으로 처리할 수 있는 신경 회로와 학습 전략이 필요함을 시사합니다. AgentCoMa 는 향후 에이전트 모델의 추론 능력을 평가하고 개선하기 위한 엄격한 테스트베드로서 중요한 역할을 할 것입니다.