RAG Collapse: LLM Responses Collapse When Retrieved Documents Are Self-Authored
이 논문은 거대 언어 모델(LLM)이 이전에 생성한 자신의 콘텐츠를 검색하고 이에 의존할 때 응답의 질이 저하되고 다양성을 잃는 현상인 "RAG 붕괴"를 경험한다는 것을 입증하며, 실험 결과 이러한 시뮬레이션의 79.6%가 불균형한 자기 인용 편향으로 인해 붕괴로 끝난다는 것을 보여준다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
인터넷은 오랫동안 수백만 개의 목소리가 혼란스럽지만 풍부한 정보의 태피스트리를 기여하는 인간 사상의 거대한 도서관 역할을 해왔습니다. 최근 몇 년 사이, 인공지능이라는 새로운 종류의 목소리가 이 합창단에 합류했습니다. 현대 챗봇의 엔진인 대규모 언어 모델은 이 디지털 도서관을 학습하며, 이제 인간의 글쓰기를 모방하는 텍�를 생성할 수 있습니다. 이러한 시스템은 또한 웹을 채우는 기사, 리뷰, 목록을 작성하는 데 점점 더 많이 사용되고 있습니다. 이는 우리가 정보를 찾기 위해 사용하는 도구가 스스로가 만든 바로 그 결과물을 읽기 시작하는 독특한 상황을 만듭니다. 과학자들은 이전에 모델이 자신의 출력물을 반복적으로 학습하면, 응답이 반복적이고 원래 데이터의 풍부함을 잃게 되는 '모델 붕괴(model collapse)' 상태에 빠질 수 있다는 것을 관찰한 바 있습니다. 하지만 새로운 연구는 더 즉각적인 질문을 던집니다. 이 시스템들이 답변을 찾기 위해 검색 도구를 사용할 때, 그 검색 결과가 우연히도 자기 자신이 쓴 기사라면 어떤 일이 벌어질까요?
Graphite Growth의 연구진은 일련의 광범적인 컴퓨터 시뮬레이션을 통해 이 시나리오를 테스트하기로 했습니다. 그들은 인터넷을 AI 생성 콘텐츠가 끊임없이 게시되고, 곧바로 동일한 유형의 AI에 의해 검색되는 살아있는 생태계로 취급했습니다. 이를 위해 그들은 "최고의 트위치 스트리머는 누구인가?"부터 "어떻게 하면 퍼스널 브랜딩을 개선할 수 있는가?"에 이르기까지 천 개 이상의 다양한 질문을 가져왔습니다. 그들은 먼저 이 질문들에 대한 실제 검색 결과들을 수집하여 초기 정보 풀(pool)로 삼았습니다. 그런 다음, AI에게 해당 결과들을 바탕으로 질문에 답하도록 요청했습니다. 그다음, 그 AI 답변들을 완전한 기사 형태로 확장하고, 이를 다시 검색 가능한 결과 풀에 추가하여 기존의 인간이 쓴 출처들을 대체했습니다. 그들은 AI가 자신의 이전 작업물을 읽어 새로운 답변을 생성하는 순환 과정을 시뮬레이션하며 이 과정을 계속해서 반복했습니다.
결과는 놀랍고도 우려스러웠습니다. 거의 80%의 시뮬레이션에서 시스템은 극단적인 균일성 상태로 붕괴되었습니다. 다양한 관점이나 서로 다른 이름의 목록을 제공하는 대신, AI는 매번 정확히 똑같은 답변을 내놓기 시작했습니다. 심지어 연구진이 원래의 검색 결과 중 단 하나만을 AI 생성 기사로 교체했을 때도 이런 현상이 발생했습니다. 놀랍게도, 단 하나의 자기 저작 참조물이 존재하는 것만으로도 이러한 변화를 촉발하기에 충분했습니다. AI는 자신의 글을 단지 하나의 옵션으로 취급하지 않았습니다. 원래의 출처가 동등하거나 더 높은 품질임에도 불구하고, AI는 자신의 콘텐츠를 훨씬 더 자주 인용하며 이를 불균형적으로 선호했습니다. 이 편향은 답변의 다양성을 빠르게 사라지게 만들었습니다. 최고의 비디오 게임 스트리머 목록을 다룬 한 실험에서, 초기 답변들은 서로 다른 사람들을 다양한 순서로 언급하며 폭넓게 나타났습니다. 그러나 단 5회의 자기 참조 루프를 거친 후, 모든 답변은 정확히 똑같은 스트리머를 똑같은 순서로 나열했으며, 텍스트는 거의 단어 하나 틀리지 않고 동일해졌습니다.
연구진은 이 붕고가 단순히 AI가 저품질이거나 형편없는 글을 읽었기 때문이라는 가설을 배제했습니다. 연구진은 기사의 품질을 점검했으며, AI가 생성한 기사들이 조직력이나 관련성 측면에서 인간이 쓴 것만큼 좋거나 심지어 더 낫다는 것을 발견했습니다. 그럼에도 불구하고 AI는 여의히 자신의 작업을 선호했습니다. 이는 저자들이 '자기 편향(self-bias)'이라고 부르는 현상을 시사하는데, 모델이 자신의 이전 생성물의 스타일과 구조에 대해 내재적인 선호도를 갖는 것을 의미합니다. 이는 AI가 다른 정보를 찾는 능력이 없어서가 아니라, 자신의 출력물에 고착되어 이를 증폭시키고 인터넷의 더 넓은 다양성을 무시하는 것처럼 보입니다. 이 효과는 주요 기술 기업들의 모델을 포함한 다양한 유형의 AI 모델에서 관 observed되었으며, 질문이 사실적인 목록에 관한 것이든 개방형 조언에 관한 것이든 상관없이 발생했습니다.
연구진은 이러한 붕괴가 느리고 점진적인 표류가 아니라 거의 즉각적으로 일어날 수 있다는 것을 발견했습니다. 단 하나의 참조물을 AI 생성 기사로 교체한 시뮬레이션에서, 답변들은 첫 몇 차례의 라운드 내에 수렴하기 시작했습니다. 과정이 끝날 무렵, 시스템은 인간의 다양한 의견을 반영하는 능력을 상실했습니다. "최고의" 식당이나 영화와 같은 목록에 대한 질문의 경우, AI는 범위가 넓은 선택지를 제공하는 것을 멈추고 단 하나의 좁은 관점으로 수렴되었습니다. 처음에 자주 언급되었던 일부 개체들은 답변에서 완전히 사라졌고, 반대로 처음에 거의 언급되지 않았던 것들이 모든 응답에 나타나기 시작했습니다. 이는 더 많은 AI 생성 콘텐츠가 인터넷을 뒤덮을수록, 우리가 의존하는 검색 도구가 결국 인간 사상의 전체 모습을 보여주는 대신, 기계 생성 합의라는 좁고 자기 강화적인 루프만을 반영하게 될 수 있음을 시사합니다.
이 발견의 함의는 단순히 챗봇에 국한되지 않습니다. 이 연구는 웹상의 정보 미래에 대한 잠재적 위험을 강조합니다. 만약 AI 시스템이 다른 AI 시스템이 검색할 콘텐츠를 생성하는 데 점점 더 많이 사용된다면, 인터넷은 서서히 사고의 다양성을 잃게 될 수 있습니다. 연구진은 적은 수의 AI 생성 기사라도 엄청난 영향을 미쳐 대안적인 관점을 제거하는 붕괴를 촉발할 수 있다고 언급했습니다. 그들은 AI 생성 콘텐츠를 걸러내거나 모델이 더 다양해지도록 유도하는 등 이를 막기 위한 다양한 방법을 테스트했지만, 이러한 해결책들은 현실 세계에서 아직 검증되지 않은 상태로 남아 있습니다. 연구는 이 붕괴가 이미 전 지구적 규모로 일어나고 있는지 확실히 알 수는 없지만, 시뮬레이션은 그 메커니즘이 실재하며 강력하다는 것을 보여준다고 결론지었습니다. 한때 인간의 다양성을 비추는 거울이었던 인터넷은, AI 시스템이 오직 자기 자신만을 보게 되는 거울의 방이 될 위험에 처해 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.