Testing the capability and performance of Claude Sonnet 4 on the GRE physics test

기술 요약: GRE 물리학 시험에 대한 Claude Sonnet 4의 벤치마킹

문제 정의
인공지능(AI)이 K-12 및 고등 교육에 점점 더 통합됨에 따라, 복잡한 과학 문제를 해결하고 비판적 사고를 입증하는 대규모 언어 모델(LLM)의 역량을 벤치마킹할 필요성이 제기되고 있다. 이전 연구들은 범용 AI가 상급 수준의 대학 물리학 문제(광학 및 열역학 분야에서 35~39%의 정확도만 달 achieves)를 해결하는 데 종종 어려움을 겪는다는 것을 보여주었으나, 고급 처리 능력이 강화된 새로운 특화 모델들은 개선된 잠재력을 시사한다. 본 연구는 복잡한 문제 해결 과제에서 90% 이상의 정확도를 초과할 수 있는지 확인하기 위해, 표준화된 대학원 수준의 물리학 평가를 대상으로 Anthropic이 개발한 LLM인 Claude Sonnet 4의 성능을 평가하고자 하였다.

연구 방법론
연구진은 Educational Testing Service(ETS)에서 제공하는 공개된 70문항의 GRE 물리학 연습 시험(Form GR1775)을 활용하였다. 연구에는 다음 프로토콜이 적용되었다:

• 모델: 당시 Anthropic의 가장 진보된 무료 모델로 식별된 Claude Sonnet 4.
• 입력: 70개의 각 문항은 추가적인 텍스트나 맥락 없이 스크린샷 형태로 모델에 개별적으로 제출되었다.
• 채점 프로토콜: 응답은 공식 ETS 정답지와 비교되었다. 메시지 제한으로 인해 모든 문제를 처리하기 위해 여러 개의 채팅 세션이 시작되었다. 첫 번째 시도에서 틀렸으나 두 번째 시도에서 맞춘 경우 부분 점수를 부여하였으며, 그렇지 않은 경우 해당 문항은 완전히 오답 처리되었다.
• 분석: 총 정답 수를 집계하여 공식 GRE 변환표를 사용하여 점수화하였다. 또한, 연구는 특정 콘텐츠 영역(고전 역학, 전자기학, 양자 역학, 원자 물리학 등)별 성능을 분석하고, 특정 문항에 대한 인간 응시자들의 평균 정확도와 모델의 성능을 비교하였다.

주요 결과
본 연구는 다음과 같은 정량적 및 정성적 결과물을 도출하였다:

• 전반적인 성능: Claude Sonnet 4는 70문항 중 65문항을 맞추어 약 93%의 정확도를 달성하였다. 이는 GRE 물리학 시험의 만점인 990점의 척도 점수에 해당한다.
• 콘텐츠 영역별 분석:
  • 양자 역학 및 원자 물리학: 모델은 100%의 정확도(16/16 문항)를 기록하였다.
  • 전자기학: 모델은 13문항 중 12.5문항을 맞추었다.
  • 고전 역학: 이 영역은 모델의 가장 취약한 부분이었으며, 14문항 중 12.5문항을 맞추어 89%의 정확도를 보였다.
• 인간의 성과와의 상관관계: 모델의 성능과 인간 응시자의 평균 정확도 사이에는 상관관계가 발견되지 않았다. 인간의 정확도가 20~30%였던 17개의 문항에서 모델은 단 하나의 문제에서 0.5점만을 잃었다.
• 오류 분석: 오류가 발생했을 때, 이는 개념적 이해의 부족보다는 비율을 잘못 계산하거나 문제 진술 내의 특정 세부 사항을 잘못 분석하는 것과 같은 잘못된 종합(synthesis)에 기인하였다. 모델은 선택한 답에 대해 일관되게 심층적인 설명을 제공하였으며, 이는 구체적인 추론 오류를 식별하는 데 용이하게 작용하였다.

의의 및 주장
본 논문은 결과가 소비자용 LLM이 고급 과학 영역의 문제를 높은 숙련도로 해결하고 설명할 수 있다는 가설을 뒷받침한다고 주장한다. 저자들은 다음과 같이 결론지었다:

1. 높은 수준의 역량: LLM은 대학원 수준의 물리학 시험에서 만점을 받을 수 있는 능력을 갖추고 있으며, 이는 과학적 연구 및 교육에 있어 변혁적인 잠재력을 시사한다. 다만, 철학적 개념이나 미해결된 우주론적 질문에 대한 추론의 한계는 인지되어야 한다.
2. 교육적 유용성: 이러한 모델은 인간의 오류 없이 복잡한 문제를 풀어나가는 강력한 도구 역할을 한다.
3. 미래 궤적: 지속적인 머신 러닝과 사용자 훈련을 통해, 저자들은 모델이 결국 100%의 정확도에 도달할 수 있다고 제안한다. 또한 모델 버전(예: Opus vs. Sonnet)에 따라 성능이 달라질 수 있음을 언급하며, 유료 구독이 사용 할당량 및 모델 품질 측면에서 추가적인 이점을 제공할 수 있다고 밝혔다.

본 연구는 AI가 상당한 유망함을 보여주는 동시에, 세부 사항에 대한 종합 능력에 여전히 제한이 있으며, ChatGPT와 같은 경쟁 모델들이 보유한 완전한 생성 능력(예: 이미지 또는 비디오 생성)을 아직 갖추지 못했음을 강조한다.