Synthetic Rewriting as a Quality Multiplier: Evidence from Portuguese Continued Pretraining

거대 언어 모델은 오늘날 가장 진보된 인공지능 시스템의 핵심 엔진이며, 인간의 사고를 모방하는 듯한 유창함으로 텍스트를 작성하고, 질문에 답하며, 문제를 해결할 수 있습니다. 이 시스템들은 인터넷의 방대한 텍스트를 읽음으로써 학습하며, 단어가 어떻게 사용되는지, 그리고 아이디어들이 어떻게 연결되는지에 대한 패턴을 흡수합니다. 그러나 이러한 학습 과정이 모든 언어에 똑같이 효과적인 것은 아닙니다. 영어는 학습을 위한 고품질 텍스트 라이브러리가 매우 방대하지만, 포르투갈어와 같은 많은 다른 언어들은 자원이 훨씬 적습니다. 이 격차를 메우기 위해 연구자들은 주로 영어로 학습된 모델을 가져와 타겟 언어로 된 더 적은 양의 텍스트를 사용하여 계속 가르치곤 합니다. 이 분야에서 커지는 의문은, 인공지능을 사용하여 데이터를 재작성함으로써 이 제한된 데이터를 더욱 강력하게 만들 수 있는지 여부입니다. 컴퓨터가 지저분하거나 단순한 문장을 가져와 더 명확하고, 구조적이며, 상세하게 재작성할 수 있다면, 모델이 개선된 버전으로부터 더 잘 배울 수 있을 것이라는 아이디어입니다. 하지만 중요한 불확실성이 남아 있습니다. 이 재작성 기법이 품질이 낮은 텍스트에도 똑같이 잘 작동하는지, 아니면 이미 좋았던 텍스트의 가치만을 증폭시키는 것인지 말입니다.

브라질 상파울루 주립대학교(University of Campinas)의 연구팀은 포르투갈어 언어 모델을 대상으로 통제된 실험을 수행하여 이 질문에 답하고자 했습니다. 그들은 먼저 이미 품질이 등급별로 매겨진 방대한 양의 포르투갈어 문서 컬렉션에서 시작했는데, 이 등급은 얼마나 잘 쓰였는지와 정보가 얼마나 유용한지에 따라 낮음에서 높음까지 나뉩니다. 이 컬렉션으로부터 그들은 세 가지 뚜렷한 데이터 그룹을 만들었습니다. 하나는 오직 최고 품질의 문서들만 포함된 그룹, 다른 하나는 최저 품질의 문서들만 포함된 그룹, 그리고 세 번째는 모든 것이 무작위로 섞인 그룹입니다. 각 그룹에 대해, 그들은 별도의 인공지능 모델을 사용하여 텍스트를 네 가지 다른 스타일(예: 읽기 쉬운 단순화된 버전, 격식 있는 백과사전 스타일, 기술적 버전, 질의응답 형식)로 재작성했습니다. 이 과정은 엄청난 양의 새로운 합성 텍스트를 생성했습니다. 그런 다음 그들은 이 재작성된 데이터셋을 바탕으로 두 가지 서로 다른 컴퓨터 모델(하나는 작은 모델, 하나는 큰 모델)을 학습시켜, 원래의 품질과 재작성의 조합이 최종 결과에 어떤 영향을 미치는지 확인했습니다.

연구 결과는 재작성이 나쁜 데이터를 고칠 수 있다는 희망에 도전하는 명확하고 놀라운 패턴을 드러냈습니다. 연구진이 더 큰 모델을 사용했을 때, 재작성 기법은 품질의 보완재가 아니라 품질의 승수(multiplier) 역할을 했습니다. 재작성된 고품질 문서로 학습된 모델은 원래의 수정되지 않은 고품질 텍스트로 학습된 동일한 모델보다 현저히 더 우수한 성능을 보였습니다. 그러나 동일한 재작성 과정을 저품질 문서에 적용했을 때는 개선이 거의 눈에 띄지 않았습니다. 재작성된 저품질 텍스트는 재작성된 고품질 텍스트를 따라잡지 못했으며, 오히려 그 격차는 여전히 넓게 유지되었습니다. 이는 재작성 과정이 이미 훌륭한 자료를 가져와 더 낫게 만드는 데는 가장 효과적이지만, 형편없는 자료를 구제하려고 시도하는 데는 효과적이지 않음을 시사합니다. 무작위로 섞인 문서들은 딱 중간에 위치했으며, 이는 재작성의 이점이 원본 텍스트의 품질이 향상됨에 따라 꾸준히 성장한다는 것을 보여주었습니다.

그러나 이 효과는 학습되는 모델의 크기에 크게 좌우되었습니다. 연구진이 훨씬 더 작은 모델로 실험을 반복했을 때, 고품질과 저품질 사이의 명확한 구분은 사라졌습니다. 이 더 작은 설정에서는 재작성된 고품질 텍스트가 원래의 저품질 텍스트보다 일관되게 더 나은 성능을 보이지 못했습니다. 작은 모델은 재작성 과정에서 도입된 복잡한 구조적 변화를 완전히 활용하지 못하거나, 혹은 편집되지 않은 데이터의 가공되지 않은 다양성으로부터 더 잘 배우는 것처럼 보였습니다. 이는 합성 재작성의 힘이 보편적인 법칙이 아니라, 인공지능 시스템의 크기에 따라 규모가 달라지는(scales with) 현상임을 나타냅니다. 더 작은 모델에게는 재작성된 텍스트의 추가적인 복잡성이 이점을 제공하지 않을 수 있지만, 더 크고 유능한 모델에게 재작성은 고품질 데이터를 강화하기 위한 강력한 도구가 됩니다.

연구는 또한 시험 문제 답변이나 소셜 미디어 게시물 이해와 같은 특정 유형의 작업들을 살펴봄으로써 재작성이 어디에서 가장 도움이 되는지 확인했습니다. 개선 효과는 시험 문제 답변이나 복잡한 시나리오를 통한 추론처럼 구조화된 지식과 문화적 이해를 요구하는 영역에서 가장 극적이었습니다. 이 영역에서 재작성된 고품질 데이터로 학습된 모델은 다른 모든 모델을 앞질렀습니다. 흥미롭게도, 일반 지식과 관련된 작업의 경우 재작성이 때때로 상황을 약간 악화시키기도 했는데, 이는 과정 중에 노이즈가 도입되거나 사실이 왜곡될 수 있음을 시사합니다. 소셜 미디어 작업의 경우, 원래의 저품질 데이터가 스스로 꽤 잘 수행했는데, 이는 소셜 미디어 텍스트의 무질서하고 비격식적인 특성이 모델들이 원래 학습했던 가공되지 않은 웹 데이터와 자연스럽게 유사하기 때문일 것입니다.

궁극적으로, 이 연구는 합성 재작성이 강력한 기술이긴 하지만, 나쁜 데이터를 금으로 바꿀 수 있는 마법 지팡이는 아니라는 점을 입증합니다. 대신, 그것은 좋은 데이터의 강점을 증폭시키고 나쁜 데이터의 약점은 거의 건드리지 않는 품질 승수로서 기능합니다. 이 통찰은 영어보다 자원이 적은 언어를 다루는 개발자들에게 매우 중요합니다. 이는 가장 효과적인 전략이 품질을 보완하기 위해 재작성에 의존하는 것이 아니라, 먼저 사용 가능한 최고의 텍스트를 신중하게 선택한 다음 이를 강화하기 위해 재작성을 사용하는 것임을 시사합니다. 또한 결과는 모델의 크기가 중요하다는 점을 강조합니다. 크고 정교한 시스템에 작동하는 방식이 더 작은 시스템에는 작동하지 않을 수 있습니다. 데이터 품질과 재작성이 어떻게 상호작용하는지를 명확히 함으로써, 이 연구는 포르투갈어와, 잠재적으로 유사한 자원 제약에 직면한 다른 언어들을 위한 더 나은 인공지능 시스템을 구축하는 명확한 경로를 제공합니다.