How Response Parsing Manufactures Scaling Laws: A Replication and Measurement-Validity Audit of Constraint-Tracking Capacity in LLMs

컴퓨터가 규칙 목록을 읽고 그 목록이 아무리 길어지더라도 완벽하게 따를 수 있는 프로그램을 상상해 보십시오. 이것은 현대 인공지능, 구체적으로는 거대 언어 모델이라고 불리는 유형의 프로그램이 약속하는 바입니다. 이 프로그램들은 방대한 양의 텍스트를 학습하며 질문에 답하거나, 이야기를 쓰거나, 문제를 해결할 수 있습니다. 이러한 시스템이 더 많은 내부 구성 요소와 더 많은 데이터를 가지며 커질수록, 일반적으로 더 복잡한 과업을 더 잘 수행하게 됩니다. 과학자들은 오랫동안 단일 모델이 한 번에 담을 수 있는 독립적인 지침의 수에 엄격한 한계가 있는지 궁금해해 왔습니다. 만약 모델에게 열 개의 규칙을 따르라고 한다면, 모델은 그것을 할 수 있을까요? 스무 개라면 어떨까요? 모델이 커짐에 따라 규칙을 따르는 능력이 꾸준히 성장할까요, 아니면 갑자기 무너져 내릴까요?

최근 한 연구는 이 질문에 대한 정확한 답을 찾아냈다고 주장했습니다. 그 연구는 모델이 커짐에 따라 여러 규칙을 추적하는 능력이 특정 수학적 패턴, 즉 예측 가능한 곡선에 따라 성장한다고 제안했습니다. 연구진은 작은 모델은 단 몇 개의 규칙만으로도 실패할 수 있는 반면, 더 큰 모델은 훨씬 더 많은 규칙을 처리할 수 있으며, 이 관계가 엄밀한 법칙을 따른다고 제안했습니다. 이 아이디어는 미래의 기계가 크기에 따라 얼마나 유능할지를 정확히 예측할 수 있는 방법을 제공한다는 점에서 매우 흥ًا을 끌었습니다. 그러나 최근의 한 조사는 원래의 수치와 그 수치를 얻기 위해 사용된 방법들을 면밀히 검토하였으며, 이는 다른 이야기를 들려줍니다. 새로운 연구는 한계라는 기본 개념은 실재하지만, 그 한계가 어떻게 성장하는지를 설명하는 구체적인 법칙은 증거에 의해 뒷받받되지 않는다는 것을 밝혀냈습니다.

이 조사는 원래의 데이터 로그, 즉 모델이 테스트에 반응하여 실제로 작성한 기록들을 재검토하는 것부터 시작되었습니다. 연구진은 답변을 읽는 더 엄격하고 새로운 방식을 구축했습니다. 원래의 연구에서 답변을 채점하는 컴퓨터 프로그램에는 안전장치가 있었습니다. 만약 응답에서 충분히 명확한 답변을 찾을 수 없다면, 프로그램은 전체 텍스트를 다시 스캔하여 문장 어디에나 나타나는 "예" 또는 "아니오"라는 단어를 찾도록 되어 있었습니다. 만약 이를 발견하면, 모델이 해당 질문에 대한 직접적인 답변으로서 의도한 것이 아닐지라도 이를 정답으로 간주했습니다. 이 안전장치는 테스트의 거의 4분의 1에서 작동했습니다. 이는 모델이 실수로 썼거나 문장의 일부로 쓴 단어들에 대해서도 점수를 부여함으로써, 마치 모델이 빈칸을 채워준 것처럼 결과를 만들어냈습니다.

새로운 연구진이 이 안전장치를 제거하고 컴퓨터가 오직 명확하고 올바른 형식으로 작성된 답변만을 계산하도록 강제했을 때, 결과는 바뀌었습니다. 한계라는 현상은 여전히 존재했습니다. 작은 모델은 어려움을 겪으며 결국 많은 규칙을 따르는 데 실패했지만, 동일한 계열의 더 큰 모델은 훨씬 더 나은 성능을 보였습니다. 이는 핵심적인 관찰 결과가 실재함을 확인해 주었습니다. 즉, 모델은 용량의 한계를 가지고 있으며, 크기가 중요하다는 사실입니다. 하지만 그 용량이 크기에 따라 어떻게 성장하는지를 설명하는 구체적인 곡선은 사라졌습니다. 모델이 커짐에 따라 규칙을 따르는 능력이 예측 가능한 방식으로 두 배 또는 세 배가 된다는 원래의 주장은 답변을 계산하는 방식이 만들어낸 환상이었습니다.

연구진은 이후 이 교정된 방법을 온라인 서비스를 통해 이용 가능한 8개의 서로 다른 모델 제품군을 포함한 훨씬 더 넓은 범위의 모델들에 대해 테스트했습니다. 그들은 원래의 수학적 법칙이 성립하지 않는다는 것을 발견했습니다. 어떤 유형의 과업에서는 모델들이 예측된 성장을 전혀 보여주지 않았으며, 대신 모델의 크기와 상관없이 일정 수 이상의 규칙을 처리하지 못하는 천장에 부딪혔습니다. 또 다른 과업에서는 모델들이 모든 규칙을 완벽하게 따르는 것처럼 보였는데, 이는 모델들이 각 규칙을 개별적으로 추적하기보다는 단순히 지침을 긴 문단으로 반복했기 때문이었습니다. 여러 사례에서 모델들은 규칙을 따를 지능이 부족해서가 아니라, 통과 점수를 받기 위해 요구되는 엄격한 형식을 따르지 않았기 때문에 실패했습니다. 테스트는 단순한 목록을 요구했는데 모델들은 길고 사려 깊은 에세이를 썼고, 채점 시스템은 이를 완전한 실패로 간주했습니다.

조사는 또한 모델들이 왜 그렇게 행동하는지를 설명하기 위해 사용된 이론도 살펴보았습니다. 원래의 연구는 모델의 내부 구조로부터 계산된 특정 건축적 특징(feature)이 한계를 결정한다고 제안했습니다. 새로운 감사는 이 이론을 증명하는 데 사용된 두 모델이 이 특징에 대해 정확히 같은 값을 가졌음에도 불구하고 매우 다르게 수행되었다는 것을 발견했습니다. 이는 해당 이론이 두 모델의 차이점을 실제로 설명할 수 없음을 의미합니다. 제안된 설명은 너무 광범위하여 유용하지 않았습니다. 즉, 어떤 결과든 허용할 수 있는 수준이었기에 관찰된 특정 결과를 예측할 수 없었습니다.

최종 결론은 이러한 기계들이 여러 제약 조건을 추적하는 능력은 실제하며 측정 가능한 것이지만, 이를 설명한다고 주장된 정밀한 수학적 법칙은 아직 뒷받침되지 않는다는 것입니다. 원래의 발견은 진정한 발견과 측정 오류가 혼합된 것이었습니다. 오류는 컴퓨터가 답변을 읽는 과정에서 흔히 발생하는, 눈에 보이지 않는 선택, 즉 누락된 데이터를 실수로 채워 넣어 잘못된 패턴을 만들어낸 선택에서 비롯되었습니다. 연구진은 이것이 모델이 완벽하다거나 우리가 그들의 한계를 완전히 이해했다는 뜻은 아니라고 강조합니다. 단지 특정 규모 법칙(scaling law)에 대한 구체적인 주장이 취약한 기반 위에 세워졌음을 의미할 뿐입니다. 앞으로 나아가기 위해서, 미래의 연구들은 답변을 읽는 데 있어 더 엄격한 규칙을 사용하고, 모든 누락된 답변을 실패로 간count하며, 보편적인 법칙을 선언하기 전에 훨씬 더 많은 모델을 테스트해야 합니다. 이 기계들을 이해하는 길은 명확하지만, 진실을 숨길 수 있는 안전장치 없이 데이터를 바라보는 과정이 필요합니다.