When the Canonical Completion Is Wrong: Formalizing and Measuring the Jump in Large Language Models
이 논문은 거대 언어 모델의 '점프(jump)' 능력, 즉 기본적 정형 완결성을 버리고 독특하고 올바른 공리계를 선택하는 능력을 공식적으로 정의하고 측정하며, 프런티어 모델들이 모든 시도에서 이 단계를 성공적으로 수행함을 입증함으로써, 제기된 어떠한 무능력도 점프 자체보다는 제약 조건이나 프레임워크를 생성하는 데 있음을 시사한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
인공지능 연구에서 하나의 중심적인 질문이 오랫동안 연구자들을 양분해 왔다. 기계가 이미 본 패턴을 넘어 진정으로 사고할 수 있는가 하는 점이다. 거대 언어 모델은 방대한 양의 텍스트에서 통계적 경향을 포착하여 문장의 다음 단어를 예측하는 귀납적 학습에 전문가이다. 또한 이들은 엄격한 논리적 규칙을 따라 결론에 도착하는 연역에도 점점 더 능숙해지고 있다. 그러나 귀납, 연역과 함께 세 번째 형태의 추론으로 알려진 가추법(abduction)은 여전히 미스터리로 남아 있다. 이는 일련의 관찰로부터 완전히 새로운 규칙이나 공리 체계로 도약하는 능력인데, 이는 종종 가장 명백한 답을 버리고 놀랍고도 보이지 않았던 가능성을 선택하는 정신적 도약을 요구한다. 수년간 회의론자들은 이러한 모델들이 구조적으로 그러한 도약을 할 수 없으며, 이미 알고 있는 것을 반복하는 루프에 갇혀 있다고 주장해 왔다. 다른 이들은 기계가 생성한 수학적 발견들을 지적하며 이에 반박하기도 했으나, 이 '도약'을 정의하거나 측정할 정밀한 방법이 없는 한 이 논쟁은 이론에 머물러 있었다.
이제 한 연구팀이 모델이 사실이 요구할 때 자신의 기본 본능을 버릴 수 있는지 확인하기 위한 엄격한 테스트를 구축함으로써 이 불확실성을 돌파했다. 그들은 모델에게 처음부터 새로운 이론을 발명하라고 요구하지 않았는데, 이는 검증이 불가능하기 때문이다. 대신 그들은 게임의 규칙이 확고하게 정해진 통제된 실험실 환경을 만들었다. 부분적인 그림과 함께 가장 명백한 방식으로 그림을 완성하는 것을 배제하는 엄격한 제약 조건 목록이 주어지는 퍼즐을 상상해 보라. 연구진은 '도약'을 모델이 표준적이고 가장 논리적인 완성이 금지되었음을 깨닫고, 대신 제약 조건을 완벽하게 충족하는 새롭고 숨겨진 구조를 구축해야 함을 깨닫는 순간으로 정의했다. 이를 위해 그들은 이미 알려진 바를 바탕으로 데이터를 확장하는 단 하나의 가장 자연스러운 방식인 '정준 완결(canonical completion)'을 식별하는 수학적 프레임워크를 사용했다. 그런 다음 그들은 이 자연스러운 답이 명시적으로 금지되어, 데이터 자체에는 나타나지 않은 독특하고 비직관적인 해답을 찾아내도록 강요하는 문제들을 설계했다.
연구진은 네 가지의 가장 진보된 언어 모델을 사용하여, 단순한 퍼즐부터 수백만 개의 가능한 답이 존재하는 복잡한 시나리오에 이르기까지 아홉 가지의 서로 다른 인증된 문제들을 대상으로 이를 테스트했다. 그들은 모델이 훈련받은 대로 선호하는 기본 답에 머무르는 빈도와, 제약 조건이 걸린 올바른 해답으로 성공적으로 도약하는 빈도를 측정했다. 결과는 놀라웠다. 모델이 선택을 강요받는 모든 시행에서, 단 하나도 그들이 선호하도록 훈련받은 기본 답으로 되돌아가지 않았다. 248번의 시도 전반에 걸쳐, 모델들은 제외된 기본 답을 매번 성공적으로 버리고 올바르고 인증된 해답에 도달했다. 모델이 실패했을 때는 도약을 거부했기 때문이 아니라, 정신적 에너지가 고갈되었거나 계산 오류를 범했기 때문이었으며, 기존의 틀린 답으로 되돌아간 적은 결코 없었다.
이러한 발견은 기존의 경로가 차단되었을 때 새로운 경로를 선택하는 능력이 이 모델들의 병목 현상이 아님을 시사한다. 모델들은 제약 조건이 명확할 때 자신의 본능을 억제할 수 있음을 증명했다. 연구진은 만약 모델이 인류 역사에서 보여준 종류의 창의적 도약 능력이 정말로 결여되어 있다면, 그것은 옵션 사이에서 선택하는 행위에 있는 것이 아니라고 결론지었다. 대신, 그 어려움은 아마도 도약을 강제하는 제약 조건을 생성하거나, 도약을 가능하게 하는 완전히 새로운 규칙의 틀을 발명하는 것과 같은 초기 단계의 더 혼란스러운 과정에 있을 것이다. 이 연구는 기계의 창의성이라는 미스터리를 해결했다고 주장하는 것이 아니라, 경로가 명확히 차단되었을 때 이 모델들이 새로운 길을 찾아낼 능력이 있음을 확고히 입증했다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.