Collapse or creativity - Hallucinations in recursive synthetic data generation
본 연구는 합성 임상 데이터에 대한 생성형 AI의 재귀적 학습이 레코드 수준의 비현실성보다는 다양성과 교차적 충실도의 상실로 인해 5세대 이내에 급격한 예측 붕괴를 초래한다는 것을 입증하며, 기존의 환각 지표가 종종 오해의 소지가 있음을 강조하고 실세계 데이터의 다양성을 보존하기 위한 출처 및 품질 평가의 개선을 옹호한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대 인공지능의 세계에서 기계는 자신이 생성한 콘텐츠로부터 점점 더 많이 학습하고 있습니다. '재귀적 학습(recursive training)'이라고 알려진 이 순환은 모델이 새로운 데이터를 생성하면, 그 새로운 데이터가 다시 다음 버전의 모델을 훈련시키기 위해 시스템에 입력될 때 발생합니다. 이것이 지식을 끝없이 확장하는 방법처럼 보일 수도 있지만, 과학자들은 오랫동안 '모델 붕괴(model collapse)'라고 불리는 현상을 우려해 왔습니다. 이 시나리오에서 기계는 현실과의 접점을 잃기 시작하며, 이해해야 할 세상의 진정한 다양성을 점차 잊어버리고 대신 좁고 왜곡된 평균값으로 수렴하게 됩니다. 이는 특히 희귀 질환 연구를 돕거나 개인정보를 보호하기 위해 합성 환자 기록을 생성하는 데 AI 시스템이 사용되는 의료 분야에서 매우 위험합니다. 만약 이 합성 기록들에 결함이 있다면, 이를 바탕으로 훈련된 모델은 위험한 오류를 범할 수 있지만, 이러한 결함을 찾아내는 도구들은 그동안 불분명한 경우가 많았습니다.
노르웨이의 한 연구팀은 기계가 의료 데이터를 반복해서 생성할 때 정확히 어떻게 퇴화가 일어나는지 조사하기 위해 나섰습니다. 그들은 흔히 '환각(hallucination)'이라 불리는 특정 유형의 오류에 집중했는데, 의료 기록의 맥락에서 환각이란 이미 사망한 사람이 심장마비를 일으키는 것과 같이 불가능한 상황을 묘사하는 환자 기록을 의미합니다. 연구진은 이러한 명백한 기록 수준의 오류가 주요 문제인지, 아니면 더 미묘한 무언가가 데이터를 실패하게 만드는 것인지 알고 싶었습니다. 이를 알아내기 위해 그들은 대규모 중환자실 데이터베이스의 실제 데이터를 사용하여 엄격한 실험을 설계했습니다. 그들은 이 실제 데이터를 가져와 네 가지 다른 유형의 AI 생성기를 사용하여 새로운 합성 환자 기록을 만들었습니다. 그런 다음 그 합성 기록들을 사용하여 새로운 모델을 훈련시켰으며, 각 단계가 이전 단계의 출력물에 전적으로 의존하는 생성 체인을 20번 연속으로 반복했습니다.
결과는 놀라운 진실을 드러냈습니다. 데이터는 기계가 불가능한 환자에 대해 터무니없는 이야기를 써 내려가서 실패한 것이 아니었습니다. 대신, 데이터는 다양성을 잃었기 때문에 실패했습니다. 세대가 거듭될수록 합성 기록들은 서로 점점 더 유사해졌으며, 실제 세상에 존재하는 증상과 질환의 독특한 조합들을 지워버렸습니다. 연구진은 단 5세대 만에 데이터가 너무 균일해져서 컴퓨터가 환자의 예후를 예측하는 법을 더 이상 가르칠 수 없게 되었으며, 결과적으로 본래 목적에 맞지 않게 쓸모없어졌음을 발견했습니다. 기계는 새롭고 기이한 오류를 만들어낸 것이 아니라, 단지 더 이상 아무것도 새롭게 만들어내지 못하게 된 것이었습니다. 기계는 통계적으로는 안전해 보이지만 임상적으로는 죽어 있는, 좁고 반복적인 패턴 속으로 붕괴되었습니다.
이 발견은 과학자와 규제 기관들이 현재 오류를 바라보는 방식을 뒤흔듭니다. 이 연구는 특정 기록이 실제 사람의 데이터베이스에 존재하는지 확인하는 표준 도구들이 오해를 불러일으킬 수 있음을 보여주었습니다. 이러한 도구들은 어떤 기록이 드물거나 관찰되지 않았다는 이유만으로 그것을 오류로 분류하여 수천 개의 기록을 잘못 짚어내곤 했지만, 사실 그 기록들은 의학적으로 충분히 가능한 것들이었습니다. 실제로 연구진은 표준 도구들에 의해 '환각'으로 분류된 기록들이 종종 데이터를 살아있게 만드는 유일한 요소였다는 것을 발견했습니다. 진짜 실패는 이러한 도구들에게는 보이지 않는 곳에 있었습니다. 바로 복잡하고 교차하는 패턴의 상실이었습니다. 기계는 거짓말을 하고 있었던 것이 아니라, 그저 지루해지고 있었으며, 그 과정에서 데이터의 예측력을 파괴하고 있었습니다.
연구진은 네 가지 다른 유형의 AI 생성기를 테스트하여 서로 다르게 행동하는지 확인했습니다. 견고한 변이형 오토인코더(variational autoencoder) 유형은 가장 빠르게 실패하여, 환자의 재입원 여부를 구분하는 능력을 완전히 상실했습니다. 이는 모든 데이터를 하나의 평균적인 프로필로 붕괴시킴으로써 발생했습니다. 적대적 랜덤 포레스트(adversarial random forests)나 조건부 생성적 적대 신경망(conditional generative adversarial networks)에 기반한 다른 생성기들은 더 느리게 실패했지만, 여전히 결과를 예측하는 능력을 상실했습니다. 이들은 극단적인 값으로 표류하거나 비현실적인 증상 패턴을 만들어냄으로써 실패했습니다. 최신 생성기 유형인 확산 모델(diffusion model)은 다르게 행동했습니다. 이 모델은 데이터 분포의 극단으로 표류하여, 기술적으로는 가능하지만 통계적으로는 드문 매우 높거나 낮은 값을 가진 기록들을 만들어냈습니다. 이러한 서로 다른 실패 경로에도 불구하고, 결과는 동일했습니다. 데이터가 현실 세계를 나타내는 능력을 상실했다는 점입니다.
결정적으로, 연구는 규제 기관과 대중을 걱정하게 했던 '환각'—즉, 명백히 불가능하거나 터무니없는 기록들—이 실제로는 매우 드물다는 것을 발견했습니다. 많은 경우, 합성 기록 중 의학적으로 불가능한 값을 포함한 기록은 1% 미만이었습니다. 진짜 위험은 불가능한 기록의 존재가 아니라, 다양하고 현실적인 기록의 부재였습니다. 기계는 가짜 이야기를 만들어내는 것이 아니라, 너무 완벽하고, 너무 평균적이며, 너무 균일한 세상을 만들어내고 있었습니다. 이는 현재 합성 데이터의 오류를 잡아내는 데 집중하는 방식이 더 큰 그림을 놓치고 있음을 시사합니다. 시스템의 안전성은 단일 행의 데이터가 사실적으로 정확한지를 확인하는 것보다, 전체 데이터셋이 인간 경험의 풍부하고 무질서한 다양성을 보존하고 있는지에 달려 있습니다.
이 연구의 함의는 단순히 의료 연구에만 국한되지 않습니다. 연구진은 구조화된 데이터에서 발생하는 현상에 '환각'이라는 용어를 사용하는 것이 종종 부적절하다고 주장합니다. 텍스트의 세계에서 환각은 지어낸 사실을 의미합니다. 하지만 의료 데이터의 세계에서 실패는 흔히 충실도(fidelity)의 상실, 즉 데이터가 인구 집단의 진정한 분포를 반영하지 못하게 되는 것을 의미합니다. 이 연구는 우리의 초점이 불가능한 기록을 세는 것에서 데이터의 다양성과 구조를 측정하는 것으로 전환되어야 함을 제안합니다. 만약 우리가 명백한 오류만을 찾는 데 급급하다면, 미래의 AI를 훈련시키는 데 유용한 데이터를 만드는 품질을 침묵 속에 잠식하는 과정을 놓칠 수 있습니다. 연구진은 명확한 라벨링과 출처(provenance)가 필수적임을 강조합니다. 우리는 언제 데이터가 합성되었는지 반드시 알아야 하며, 데이터가 미래의 시스템에 대한 지식 기반을 소리 없이 퇴화시키는 것을 방지하기 위해 그 품질을 지속적으로 모니터링해야 합니다.
결국, 이 연구는 데이터가 많을수록 항상 더 좋다는 가정에 대한 경고 역할을 합니다. AI 시스템이 적절한 안전장치 없이 자신의 출력물을 스스로 먹도록 허용된다면, 그들은 반드시 더 창의적이거나 더 정확해지는 것이 아닙니다. 대신, 그들은 스스로 만든 루프에 갇혀 실제와 비슷해 보이지만 실체의 본질을 잃어버린 데이터를 생산할 위험이 있습니다. 연구진은 데이터의 다양성을 보존하는 것이 단순한 기술적 요구사항이 아니라, 인공지능의 신뢰성을 위한 근본적인 필수 요건이라고 결론짓습니다. 다양성이 없다면, 합성 데이터가 의료와 같은 분야를 혁신할 것이라는 약속은 그것을 만들기 위해 설계된 바로 그 시스템에 의해 무너질 수 있습니다. 앞으로 나아갈 길은 데이터가 완전히 붕괴하기 전에 다양성의 상실을 감지할 수 있는 새로운 어휘와 새로운 지표를 갖추는 것이며, 이를 통해 우리가 만든 기계가 계속해서 그들이 봉사해야 할 복잡하고 다양한 세상을 반영할 수 있도록 보장하는 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.