기술 요약: 병렬 물리 세계에서의 프런티어 거대 언어 모델의 물리학 문해력 테스트

문제 정의

현재 거대 언어 모델(LLM)의 물리학 벤치마크는 주로 정답 정확도에 의존한다. 저자들은 이 지표가 진정한 추론과 익숙한 문제 패턴의 회상 또는 학습 데이터 암기 사이를 구분하지 못한다고 주장한다. 또한, 정확도 점수는 모델의 추론이 어디에서 무너지는지 또는 그 인지적 경계가 어디인지를에 대한 통찰을 제공하지 못한다. 기존의 "과학을 위한 AI" 시스템은 기설정된 이론적 틀 내에서 작동하며, 이는 틀 자체의 유도가 독립적으로 테스트되지 않음을 의미한다. 마찬가지로, "세계 모델링" 노력은 현상의 지각적 예측이나 다음 단계 시뮬레이션에 집중하는 경우가 많으며, 관찰로부터 형식적이고 검증 가능한 물리 이론을 유도하는 데에는 초점을 맞추지 않는다.

본 연구가 다루는 핵심 질문은 프런티어 LLM이—모델의 학습 데이터와는 다른 프레임워크 내에서—현상 관찰, 규칙성 유도, 운용 규칙 공식화, 정량적 예측 수행, 그리고 이론의 오류 검토라는 과학적 이론 구축의 전체 인지 체인을 수행할 수 있는지 여부이다.

방법론

본 논문은 모델의 학습 데이터와 다른 법칙을 가진 "병렬 물리 세계" 내에서 LLM을 평가하기 위해 설계된, 감사 가능한 4단계 진단 프로토콜을 소개한다.

4단계 프로토콜

인지 체인은 컨텍스트 전이를 방지하기 위해 각 단계마다 새로운 API 세션에서 실행되는 네 가지 독립적인 단계로 분해된다:

1. 유도 (Induction): 모델은 특정 물리 세계로부터 얻은 자연어 관찰 세트를 전달받고, 이를 설명하는 일관된 규칙 세트를 유도해야 한다.
2. 공식화 (Formulation): 모델은 유도된 규칙을 명시적인 정의, 범위, 경계 사례를 포함하는 운용적 형태로 다시 작성한다.
3. 예측 (Prediction): 모델은 운용 규칙을 사용하여 보지 못한 시나리오에 대해 정량적 예측을 수행한다.
4. 검토 (Review): 모델은 이전 출력물을 스스로 평가하여 자신이 놓친 오류나 경계를 식서한다.

실험적 프레임워크

세 가지 병렬 물리 세계가 증가하는 인지적 압박을 가하도록 설계되었다:

• F = mv (쉬움): 힘이 가속도가 아닌 속도에 비례하는($F=mv$) 반사실적 세계이다. 이는 고전 역학 영역 내에서의 단일 방정식 유도를 테스트한다.
• 아리스토텔레스 역학 (중간): 운동이 원소 구성과 자연적 장소에 의해 결정되는 역사적 프레임워크이다. 이는 모델이 학습 데이터에 널리 퍼져 있는 "아리스토텔레스는 틀렸다"라는 선입견을 유보하는 능력을 테스트한다.
• 붕괴 세계 (어려움): 모든 측정 가능한 물리량이 네 가지 영역(기계적, 열적, 회전적, 궤도적)에서 하부 구조(예: 에너지 보존이나 마찰) 없이 매초 1%씩 가치를 잃는 반사실적 세계이다. 이는 다영역 통합 및 보존되는 하부 구조의 부재를 테스트한다.

평가의 엄밀성

• 사전 등록: 데이터 생성 전 모든 기준, 프롬프트, 스크립트는 사후 합리화를 방지하기 위해 SHA-256 해싱과 git 태그를 통해 잠금 처리되었다.
• 이중 LLM 판정: 각 단계는 두 개의 독립적인 프런티어 LLM(Claude와 GPT)에 의해 판정된다. 불일치가 25%를 초과할 경우, 인간 감사가 정전(canonical) 판정을 내린다.
• 복합 판정: 시도(trial)는 내용 축(유도, 공식화, 예측)과 해당되는 경우 구조적 축(간결성, 독립성, 추적 가능성, 계층 구조)을 모두 통과해야 통과로 간주된다. 4단계(검토)는 메타인지 축으로서 별도로 보고된다.
• 테스트된 모델: Claude Opus 4.7, GPT-5.5, Gemini 3.1 Pro (모델당 프레임워크당 5회 시도).

주요 결과

복합 성능

복합 PASS율(내용 $\land$ 구조)은 다음과 같았다:

• F = mv: 15/15 중 6 (Claude: 3/5, GPT: 2/5, Gemini: 1/5)
• 아리스토텔레스: 15/15 중 6 (Claude: 2/5, GPT: 4/5, Gemini: 0/5)
• 붕괴 세계: 15/15 중 0 (모든 모델 실패)

실패 모드 및 병목 현상 이동

논문은 난이도가 높아짐에 따라 실패 지점이 이동함을 식별하며, 이는 뚜렷한 인지적 병목 현상을 드러낸다:

• F = mv: 실패가 이질적이었다. Claude는 공식화(규칙 왜곡)에서 실패했고, GPT는 구조적 조직(중복된 규칙 세트)에서 실패했으며, Gemini는 유도(F=ma 재도입)에서 실패했다.
• 아리스토텔레스: 강력한 학습 데이터 선입견 하에서 병목 현상이 유도로 이동했다. 모델들은 금지된 단어 목록이 있음에도 불구하고 뉴턴적 개념(예: 가속도, 밀도)을 누출하며 "아리스토텔레스는 틀렸다"라는 라벨을 유보하는 데 어려움을 겪었다.
• 붕괴 세계: 병목 현상이 정량적 예측으로 이동했다. 모델들은 정성적 방향(0/60 오답)은 올바르게 예측했으나, 38%(23/60)의 정량적 예측이 잘못된 비율을 계산함으로써 실패했다. 이는 프레임워크의 붕괴 규칙을 사용하는 대신 표준 물리 관계(예: 에너지 하부 구조 가정)로 되돌아갔음을 보여준다.

메타인지 및 방법론적 발견

• 취약한 자기 검토: 모든 프레임워크에서, 4단계 "과잉 주장(Over-claim)" 비율(이전의 실패에도 불구하고 오류가 발생하지 않았다고 주장하는 경우)이 일관되게 높았다(67%–83%). 모델은 난이도나 오류 유형에 관계없이 자신의 실수를 감지하지 못했다.
• 판정기 불안정성: LLM 판정기의 신뢰성은 프레임워크 간에 전이되지 않았다. 한 프레임워크에서 인간 감사와 더 많이 일치했던 판정기가 다른 프레임워크에서는 더 낮은 성능을 보이는 경우가 있어, 이중 LLM + 인간 감사 아키텍처가 필요했다.
• 정량적 vs 정성적 비대칭성: 붕괴 세계에서 모델들은 강력한 정성적 직관(올바른 방향)을 보여주었으나, 표준 하부 구조 없이 단일 규칙을 이질적인 영역에 적용해야 할 때 정량적 계산에서 실패했다.

의의 및 주장

본 논문은 다음의 첫 번째 체계적 사례라고 주장한다:

1. 물리 추론의 분해: 네 가지 인지적 움직임(유도, 공식화, 예측, 검토)을 단일 엔드 투 엔드 작업이 아닌 독립적인 축으로 구조화하였다.
2. 병렬 물리 세계: 암기를 배제하고 추론을 분리하기 위해 설계된 역사적 프레임워크와 하부 구조가 없는 다영역 반사실적 세계를 포함한 단계적 난이도 상승을 도입하였다.
3. 감사 가능한 파이프라인: 잠금 처리된 사전 등록, 이중 LLM 판정, 인간 감사 추적을 갖춘 완전하게 개방된 엔드 투 엔드 재현 가능 파이프라인을 제공한다.

저자들은 물리 추론 벤치마크의 가치는 집계된 정확도 점수가 아니라, 모델이 어떤 인지적 움직임에서 실패하는지를 밝혀내는 능력에 있다고 결론짓는다. 결과는 프런티어 모델들이 정성적인 물리적 직관은 갖추고 있으나, 정량적인 교차 도메인 계산과 강력한 학습 데이터 선입견을 유보하는 능력에서는 어려움을 겪고 있음을 시사한다. 이 연구는 모델이 추론 능력을 완전히 결여하고 있다고 주장하는 것이 아니라, 새로운 이론 체계를 독립적으로 구축하고 적용하는 능력의 구체적인 구조적 한계를 강조한다.