OmniPhys: A Unified Multimodal Benchmark for Physics Understanding and Generation from Chinese Educational Corpora

물리학은 공이 언덕 아래로 굴러가는 방식부터 전선을 통해 흐르는 전기를 안내하는 보이지 않는 힘에 이르기까지, 우주가 어떻게 작동하는지를 연구하는 학문입니다. 수 세기 동안 인류는 글을 읽고, 도표를 보고, 텍스트와 이미지를 연결해야 하는 문제를 풀면서 이러한 규칙들을 배워왔습니다. 오늘날 컴퓨터는 텍스트를 읽고 사진을 보는 데 매우 능숙해졌으며, 두 가지 유형의 정보를 동시에 처리할 수 있기 때문에 흔히 멀티모달 모델이라 불립니다. 이 기계들은 이야기를 쓰고, 질문에 답하며, 심지어 사진에서 일어나고 있는 일을 설명할 수도 있습니다. 하지만 엄격하고 논리적인 물리학의 세계에 있어서, 단순히 이미지를 인식하거나 문장을 읽는 것만으로는 충분하지 않습니다. 진정한 이해란 컴퓨터가 도표와 설명이 어떻게 하나의 깨지지 않는 논리적 사슬을 형성하며 결합되는지를 보는 것을 의미합니다. 만약 기계가 이를 할 수 없다면, 그것은 추론하는 것이 아니라 단지 추측하는 것에 불외지 않습니다.

동츠아화난 대학교(East China Normal University)의 연구진은 이러한 컴퓨터들이 얼마나 잘 물리학자처럼 생각할 수 있는지를 테스트하기 위한 새로운 도구를 구축했습니다. 그들은 중학교부터 대학교 수준에 이르는 실제 중국 교과서와 시험에서 추출한 'OmniPhys'라는 거대한 문제 모음집을 만들었습니다. 이것은 단순한 질문 목록이 아닙니다. 컴퓨터가 단순히 목록에서 정답을 고르는 것 이상의 일을 하도록 강요하는 엄격한 테스트입니다. 이 모음집은 역학, 전기, 빛, 열, 소리를 다루는 15,000개 이상의 질문과 약 20,000개의 이미지를 포함하고 있습니다. 연구진은 컴퓨터가 복잡한 그림과 텍스트를 동시에 해석해야 하도록 이 문제를 어렵게 설계했습니다. 결정적으로, 이 테스트는 컴퓨터에게 그들이 좀처럼 하지 않는 일, 즉 스스로 도표를 그리도록 요구합니다. 단순히 그림을 선택하는 대신, 컴퓨터는 빛이 반사되거나 힘이 작용하는 방식을 물리 법칙을 준수하며 올바르게 보여주는 새로운 이미지를 생성해야 합니다.

연구진이 테스트를 실행했을 때, 대중에게 공개된 가장 강력한 모델들을 포함하여 가장 진보된 컴퓨터들조차 상당한 어려움을 겪는다는 것을 발견했습니다. 가장 뛰어난 모델들은 약 70%의 문제를 정확하게 해결할 수 있었지만, 연구진이 모델들이 어떻게 그 답에 도달했는지 자세히 살펴보자 양상이 바뀌었습니다. 많은 모델이 진정한 논리를 이해해서가 아니라, 우연히 맞혔거나 패턴을 암기함으로써 정답을 맞혔습니다. 그들은 종종 추론 과정에서 핵심적인 단계를 놓치거나 도표의 시각적 단서를 텍스트와 연결하는 데 실패했습니다. 상황은 그림을 그리는 과제에서 더욱 악화되었습니다. 물리 도표를 생성하라는 요청을 받았을 때, 컴퓨터는 얼핏 보기에는 그럴싸해 보이지만 근본적인 오류를 포함한 이미지를 자주 생성했습니다. 그들은 빛의 경로를 반대로 굴절시키거나 힘의 방향을 반대로 그리는 등, 자신이 입증해야 할 자연의 법칙을 위반하곤 했습니다.

이 연구는 또한 이러한 컴퓨터들이 문제가 어려워질수록 점진적으로 성능이 저하된다는 것을 밝혀냈습니다. 그들은 중학교 수준의 질문에는 비교적 잘 수행했지만, 고등학교와 대학교 수준으로 넘어가면서 정확도가 급격히 떨어졌습니다. 이러한 하락은 이 기계들이 단순한 작업은 잘 다룰 수 있지만, 복잡한 과학적 사고에 필요한 깊고 층위 있는 추론은 아직 마스터하지 못했음을 시사합니다. 연구진은 또한 컴퓨터에게 문제의 사진을 제공하는 것이 텍고만 있을 때보다 성능 향상에 도움이 된다는 것을 발견했는데, 이는 시각적 정보가 이러한 퍼즐을 푸는 데 필수적임을 증명합니다. 그러나 일부 모델은 이미지를 주었을 때 오히려 성능이 저하되기도 했는데, 이는 컴퓨터가 사진을 유용한 정보가 아닌 혼란스러운 노이즈로 취급하고 있음을 시사합니다.

아마도 가장 놀라운 발견은 컴퓨터가 채점을 하는 데 있어 종종 너무 관대했다는 점일 것입니다. 연구진이 인공지능에게 다른 컴퓨터가 그린 도표를 채점하도록 요청했을 때, 그 채점기는 인간 전문가가 틀렸다고 판단한 이미지에 높은 점수를 주었습니다. 자동 채점기는 인간이라면 즉시 포착했을 미묘한 물리적 오류를 놓쳤습니다. 이는 과학적 추론의 품질을 평가하는 데 기계에 의존하는 것이 현재로서는 신뢰할 수 없음을 의미합니다. 작업을 면밀히 검토한 인간 전문가들은, 최종 답이 맞았을 때조차 컴퓨터가 물리학의 핵심 개념을 파악하지 못하고 있다는 것을 발견했습니다.

이 연구는 컴퓨터가 과학 분야에서 쓸모없다고 주장하는 것이 아니라, 물리적 세계를 진정으로 이해하기까지 갈 길이 멀다는 것을 보여줍니다. 연구진은 다른 과학자들이 더 나은 모델을 구축하는 데 사용할 수 있도록 문제와 이미지 모음을 대중에 공개했습니다. 이 연구는 기계가 정확한 도표를 그리거나, 논리적 사슬을 따르거나, 복잡한 시각적 장면을 이해하는 데 있어 정확히 어디에서 실패하는지를 식별함으로써 미래의 개선을 위한 명확한 지도를 제공합니다. 목표는 단순히 테스트를 통과하는 컴퓨터를 만드는 것이 아니라, 인간 물리학자와 같은 엄격함과 정확성으로 자연의 법칙을 추론할 수 있는 시스템을 만드는 것입니다. 그때까지, 이 모델들이 말할 수 있는 것과 실제로 이해하는 것 사이의 간극은 여전히 넓습니다.