💬 NLP

GSM-SEM: Benchmark and Framework for Generating Semantically Variant Augmentations

본 논문은 LLM 평가에서의 암기 편향을 완화하기 위해 의미적으로 다양하고 사실적으로 변형된 벤치마크 변형을 생성하는 확률적 프레임워크인 GSM-SEM 을 소개하며, 이러한 동적으로 재생성된 데이터셋으로 테스트했을 때 최첨단 모델에서 상당한 성능 저하가 나타남을 보여줍니다.

원저자: Jyotika Singh, Fang Tu, Aziza Mirzadova, Amit Agarwal, Hitesh Laxmichand Patel, Sandip Ghoshal, Miguel Ballesteros, Yassine Benajiba, Weiyi Sun, Graham Horwood, Sujith Ravi, Dan Roth

게시일 2026-05-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jyotika Singh, Fang Tu, Aziza Mirzadova, Amit Agarwal, Hitesh Laxmichand Patel, Sandip Ghoshal, Miguel Ballesteros, Yassine Benajiba, Weiyi Sun, Graham Horwood, Sujith Ravi, Dan Roth

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

수학 실력을 평가하려는 학생을 상상해 보세요. 유명한 GSM8K(초등학교 수준의 수학 단어 문제 모음)와 같은 표준 시험을 그들에게 주면, 만약 만점을 받으면 "와, 이 학생은 수학 천재야!"라고 생각할 수 있습니다.

하지만 그 학생이 실제로 수학을 배운 것이 아니라면 어떨까요? 어쩌면 이 특정 시험의 답을 수천 번이나 본 기억으로 단순히 외웠을지도 모릅니다. 그들은 정답을 맞출 수 있겠지만, 이야기를 약간만 바꾸면—예를 들어 "사과"를 "오렌지"로 바꾸거나 숫자를 변경하면—혼란을 겪고 실패할 수 있습니다.

이것이 바로 논문 GSM-SEM이 해결하려는 문제입니다.

문제: "요약지" 효과

현재 챗봇을 구동하는 AI 모델들은 벤치마크에서 놀라울 정도로 뛰어난 성과를 보이고 있습니다. 하지만 저자들은 이러한 높은 점수들이 많은 경우 환영일 뿐이라고 의심합니다. 모델들이 반드시 추론 능력이 향상된 것은 아니며, 단지 훈련에 사용된 시험 세트의 특정 질문과 답을 암기하고 있을 뿐입니다.

이를 해결하기 위한 기존 방법들은 "변형 (perturbations)"을 포함하는데, 이는 시험에 작은 변화를 가하는 것과 같습니다.

재진술: 다른 단어로 문장을 다시 쓰기.
이름 변경: "존"을 "제인"으로 바꾸기.
숫자 교체: 5 를 6 으로 바꾸기.

이 논문은 이러한 변화들이 너무 피상적이라고 주장합니다. 이는 요약지의 글꼴을 바꾸는 것과 같습니다. 학생은 여전히 속일 수 있는데, 그 이유는 근본적인 사실과 논리가 정확히 동일하게 남아 있기 때문입니다.

해결책: GSM-SEM(이야기 재작성자)

저자들은 수학 문제의 창의적인 작문 코치 역할을 하는 새로운 프레임워크인 GSM-SEM을 소개합니다. 단순히 단어를 바꾸는 대신, 수학 답을 정확히 동일하게 유지하면서 전체 이야기를 다시 씁니다.

여기 창의적인 비유가 있습니다:
수학 문제를 10 조각의 케이크를 만드는 레시피라고 상상해 보세요.

구식 방법 (재진술): 레시피 제목을 "초콜릿 케이크"에서 "다크 코코아 케이크"로 바꾸고 "밀가루"를 "밀 전분"으로 바꿉니다. 레시피는 여전히 같은 방식으로 작동하며, 모델은 단순히 패턴을 인식할 뿐입니다.
GSM-SEM 방법: 이야기를 완전히 바꿉니다. 케이크를 굽는 대신, 문제는 이제 페인트를 섞는 것이나 로켓의 연료를 계산하는 것에 관한 것입니다. 이야기는 완전히 다르고, 대상도 다르며, 맥락도 새로워집니다. 그러나 이를 해결하는 데 필요한 수학(숫자와 최종 답)은 동일하게 유지됩니다.

모델은 더 이상 "케이크 레시피"를 암기하는 것에 의존할 수 없습니다. 정답을 얻으려면 새로운 이야기의 논리를 실제로 이해해야 합니다.

구축 방법

이 팀은 다음과 같은 시스템을 구축했습니다.

수학 문제와 그 정답을 받습니다.
AI 모델에게 그 정답으로 이어지는 새로운 이야기를 발명하도록 요청합니다. (예: "정답이 15 라면, 빵집, 우주선, 또는 비디오 게임에 관한 이야기를 써서 15 가 나오게 하세요.")
새로운 이야기가 원래 것과 실제로 다르도록 (단순한 단어 재배열이 아님) 하지만 여전히 해결 가능하도록 결과를 필터링합니다.
새로운 문제들이 논리적으로 타당한지 확인하기 위해 인간 심사관과 함께 검증합니다.

이 방법은 세 가지 다른 벤치마크 세트에 적용되어 GSM8K-SEM, GSM-Symbolic-SEM, GSM-Plus-SEM이라는 새로운 버전들을 만들었습니다.

발견한 점

이들은 OpenAI, Google, Meta 등의 모델을 포함한 14 개의 가장 똑똑한 AI 모델들을 이러한 새로운 "이야기 재작성" 테스트에서 평가했습니다.

결과:

"천재" 모델들의 추락: 모델들이 이러한 새로운 의미적으로 다른 이야기들을 마주했을 때, 그 성능은 크게 떨어졌습니다. 평균적으로 의미론적 변화가 다른 까다로운 변형들과 결합되었을 때, 정답을 맞춘 질문 수가 약 28% 감소했습니다.
노출된 암기: 모델들이 새로운 이야기에서 이렇게 심각하게 실패했다는 사실은, 이전의 높은 점수들이 진정한 추론이 아니라 대부분 암기 때문임을 증명했습니다.
"이중 고난" 효과: 모델들은 이야기가 변경되었을 때뿐만 아니라 다른 요소들 (숫자나 논리 구조 등) 도 조정되었을 때 가장 어려움을 겪었습니다. 이는 현재 AI 가 매우 취약하다는 것을 시사합니다. 한 가지 유형의 변화는 처리할 수 있지만, 여러 가지 변화의 조합은 처리하지 못합니다.

결론

이 논문은 GSM-SEM이 AI 가 실제로 "생각"하는지 아니면 단순히 "암송"하는지 테스트하는 더 나은 방법이라고 결론 내립니다. 동일한 수학이 필요한 끊임없이 새로고침되는 고유한 이야기들을 생성함으로써, 암기를 통한 모델들의 속임을 방지합니다.

저자들은 또한 이 방법이 수학뿐만 아니라 다른 유형의 논리 퍼즐에서도 작동함을 보여주었으며, 이 "이야기 재작성" 접근 방식이 AI 가 실제로 견고한지 아니면 단순히 패턴 매칭에 능한지 확인하는 강력한 도구임을 입증했습니다.

간단히 말해: AI 가 똑똑한지 알고 싶다면, 이미 들어본 질문을 하지 마세요. 같은 답으로 이어지는 새로운 이야기를 말해달라고 하세요. 만약 그것을 할 수 없다면, 그것은 추론이 아니라 단순히 기억하는 것입니다.

기술 요약: GSM-SEM

문제 제기

GSM8K와 같은 대규모 언어 모델 (LLM) 의 수학적 추론 능력을 평가하는 현재 벤치마크는 견고성과 일반화 측면에서 중대한 한계에 직면해 있습니다. 높은 리더보드 점수는 종종 정적 테스트 세트의 암기나 데이터셋 고유의 아티팩트 악용을 반영할 뿐, 진정한 추론 능력을 나타내지 않습니다. 기존 견고성 변형들 (예: 문장 재구성, 개체 이름 변경, 수치 대체) 은 주로 문제의 근본적인 사실적 골격과 관계적 구조를 유지하는 표면 수준의 교란을 적용합니다. 결과적으로 이러한 변형들은 의미 있는 다른 의미 조건에 대한 적응력보다는 표면 형태에 대한 불변성을 테스트하는 경우가 많습니다. 또한, 정적 벤치마크 릴리스는 시간이 지남에 따라 암기의 대상이 되며, 신선하고 비교 가능한 교란을 생성하려면 종종 정답에 대한 비용이 많이 드는 재주석이 필요합니다.

방법론: GSM-SEM 프레임워크

저자들은 원래의 정답과 계산 논리를 유지하면서 의미적으로 다양한 벤치마크 변형을 생성할 수 있는 재사용 가능한 확률적 프레임워크인 GSM-SEM을 소개합니다. 이 프레임워크는 이중 큐레이션 및 검증 파이프라인을 통해 작동합니다:

의미 변형 생성: 이 프레임워크는 원래 샘플 $(q, a)$ 에서 새로운 질문 변형 ( $\tilde{q}$ ) 을 생성하기 위해 두 가지 상호 보완적인 증강 전략을 사용합니다:
- 답변 조건부 생성: LLM 에게 정답 $a$ 가 암시하는 수치 계산을 유지하되 표면 형태와 맥락적 사실을 크게 변경 (예: "박테리아 감염"을 "바이러스 확산"으로 변경) 하는 새로운 질문을 역추적하도록 프롬프트를 제공합니다.
- 질문 조건부 생성: LLM 에게 모든 수치 값을 고정하면서 시나리오나 테마를 변경 (예: "페스트 감염"을 "소문 확산"으로 변경) 하도록 프롬프트를 제공하여 필요한 산술 연산을 변경하지 않으면서 의미적 다양성을 높입니다.
- 규칙 기반 검증기는 생성된 질문의 모든 수치 값이 원래 값과 일치하는지 확인합니다.
자동 품질 검증: 70 개의 샘플 변형에 대한 인간 검토를 통해 튜닝된 판사 LLM 이 논리적 일관성과 품질을 평가합니다.
유사도 기반 중복 제거: 생성된 변형들은 단어 빈도 벡터를 기반으로 한 코사인 유사도를 사용하여 필터링됩니다. 기본 샘플 또는 기존에 유지된 변형과의 유사도 $s(x, \tilde{x}) > 0.85$ 인 후보는 의미적 분산을 보장하기 위해 폐기됩니다.
엄격도 필터링: 난이도를 조절하고 사소한 변형을 피하기 위해 엄격도 필터는 보유된 참조 모델 집합 ( $M_{hold}$ ) 을 사용하여 후보를 평가합니다. 모델들이 만장일치로 정답을 맞춘 변형은 너무 쉽거나 교란이 충분하지 않은 것으로 간주됩니다. 이러한 변형은 의미적 유사도 수용 범위 $[\alpha, \beta]$ 를 기반으로 추가적으로 제거됩니다. 이를 통해 다양한 수준의 도전을 가진 하위 집합을 생성할 수 있습니다 (예: "max" 엄격도는 만장일치로 정답을 맞춘 모든 샘플을 제거합니다).
인간 검증: 최종 데이터셋은 논리적 일관성과 답변 정렬을 보장하기 위해 엄격한 2 단계 인간 검토 과정을 거쳐 완전히 인간이 검증한 데이터셋으로 완성됩니다.

주요 기여

GSM-SEM 프레임워크: 원래 계산과 답변을 유지하면서 의미적으로 다양한 벤치마크 변형을 생성하는 확률적, 재사용 가능한 파이프라인으로, 재주석 없이 재실행 가능한 평가를 가능하게 합니다.
인간 검증 데이터셋: GSM8K-SEM, GSM-Symbolic-SEM, GSM-Plus-SEM이라는 세 가지 완전히 검증된 데이터셋의 공개. 이러한 데이터셋은 이전 접근 방식 (GSM-Symbolic, GSM-Plus, 그리고 문장 재구성 버전) 보다 높은 의미 분산을 보여줍니다.
종합적 평가: 모델 계열 전반에 걸쳐 14 개의 최첨단 (SOTA) LLM 에 대한 평가로, 원래 벤치마크에 비해 SEM 변형에서 일관된 성능 저하가 드러났습니다.
교차 영역 적용성: BigBench-Hard, LogicBench, NLR-BIRD를 포함한 비-GSM 데이터셋에 대한 프레임워크의 유용성 입증.

결과

성능 저하: 14 개의 SOTA 모델을 대상으로 한 결과, GSM-SEM 변형은 기준 벤치마크에 비해 일관되게 낮은 성능을 보였습니다. "med" 엄격도 구성에서 가장 까다로운 구성인 GSM-Plus-SEM 의 평균 성능 저하율 (PDR) 은 약 **28%**였습니다.
복합 교란: 의미적 교란 (GSM-SEM) 을 기존 기호 또는 "플러스" 변형 (GSM-Symbolic-SEM, GSM-Plus-SEM) 과 결합하면 성능 감소가 증폭됩니다. 예를 들어, GSM-Plus-SEM 은 모델 전반에 걸쳐 평균 정확도 하락폭이 **13.53%**로 나타났으며, 이는 GSM-Plus 단독보다 훨씬 높습니다.
의미 민감성: 분석 결과, 모델의 정확도는 원래 데이터셋과의 의미적 유사도가 높을수록 일반적으로 향상되는 것으로 나타났습니다. 계산이 변경되지 않더라도 상당한 의미적 변화는 더 큰 성능 저하로 이어지며, 이는 현재 모델이 단순한 기호 조작이 아닌 의미적 맥락에 민감함을 시사합니다.
실패 모드: 수동 분석을 통해 SEM 변형에서 다음과 같은 주요 실패 모드를 확인했습니다:
- 추가된 간접성으로 인한 인지 부하 증가.
- 단위/통화 단서가 크기 오류를 유발 (예: 센트와 달러를 오해).
- 참조 스타일 재작성에서 불안정해진 상태 추적.
- 사소한 의미적 변화 하에서의 템플릿 잘못된 검색.
외부 영역 전이: 이 프레임워크는 비수학적 데이터셋에 대한 변형 생성에 성공적으로 적용되었습니다. BigBench-Hard(2022) 와 같은 이전 데이터셋에서는 암기로 인해 성능 저하가 관찰된 반면, NLR-BIRD(2025) 와 같은 최신 데이터셋에서는 최소한의 저하만 보여 프레임워크가 암기로부터 추론 능력을 효과적으로 분리함을 시사합니다.

중요성과 주장

본 논문은 GSM-SEM 이 표면 수준의 견고성 테스트와 진정한 의미적 적응성 사이의 중요한 격차를 해소한다고 주장합니다. 각 실행마다 정답을 유지하면서 신선하고 의미적으로 다양한 변형을 생성함으로써, 이 프레임워크는 정적 공개 벤치마크에 대한 의존도를 줄이고 암기로 인한 평가 편향을 낮춥니다.

저자들은 현재 SOTA 모델들이 뛰어난 추론 능력을 갖추고 있음에도 불구하고, 근본적인 수학이 동일하더라도 문제의 서사적 맥락을 변경하는 의미적 변화에 여전히 민감하다고 주장합니다. 이는 높은 벤치마크 점수가 견고한 일반화를 완전히 포착하지 못할 수 있음을 시사합니다. 이 프레임워크는 GSM 스타일 수학 문제를 넘어 다양한 데이터셋에 적용 가능한 더 엄격하고 재실행 가능한 평가 메커니즘을 제공하여 LLM 추론에 대한 더 신뢰할 수 있는 평가로의 길을 제시합니다.