CiteShade: Citation Laundering in Multi-Source Retrieval-Augmented Generation and Its Counterfactual Defense

현대 디지털 환경에서 인공지능 시스템은 방대한 문서 라이브러리를 검색하여 복잡한 질문에 답하는 과업을 점점 더 많이 맡고 있습니다. 검색 증강 생성(RAG)이라고 알려진 이 과정은 마치 시험을 치를 때 교과서를 펼쳐 볼 수 있는 학생과 같습니다. 자신의 내부 기억(이는 구식이거나 허구의 사실을 만들어낼 가능성이 있음)에만 의존하는 대신, 시스템은 데이터베이스에서 관련 페이지를 불러와 이를 사용하여 답변을 구성합니다. 투명성을 보장하기 위해 이러한 시스템은 출처를 인용하도록 설계되어 있으며, 각 주장을 뒷받침한 특정 문서에 대한 참조를 첨부합니다. 사용자에게 이 인용은 영수증, 즉 정보가 기계의 상상이 아니라 신뢰할 수 있는 곳에서 왔음을 확인할 수 있는 방법 역할을 합니다. 근저에 깔린 가정은 단순합니다. 만약 시스템이 출처를 가리킨다면, 그 출처가 실제로 기계에게 그 답변을 내놓도록 설득한 원천이어야 한다는 것입니다.

홍콩 시립대학교의 한 연구자는 이 가정이 매우 취약하다는 사실을 발견했습니다. 그는 시스템을 속이는 새로운 방법을 찾아냈는데, 이는 답변 자체를 바꾸는 것이 아니라 '영수증'을 가로채는 방식입니다. 그의 연구는 공격자가 데이터베이스 내의 단일 문서를 제어함으로써, 시스템이 완전히 틀린 답변을 생성하게 만드는 동시에, 정작 그 거짓말에 대한 근거가 전혀 없는 다른 신뢰할 수 있는 문서를 지목하게 만들 수 있음을 밝혀냈습니다. 연구자는 이를 "인용 세탁(citation laundering)"이라고 부릅니다. 이는 오류가 이미 사용자가 신뢰하는 인용에 의해 뒷받침되고 있기 때문에 오류가 정당해 보이는 은밀한 기만 형태이며, 실제 오류의 원인은 사용자가 결코 보지 못하는 숨겨진 악의적인 소스에 있음에도 불구하고 말입니다.

연구자는 여러 문서와 서로 다른 출처의 정보를 결합해야 하는 일련의 어려운 질문들을 포함한 통제된 실험을 통해 이 취약성을 입증했습니다. 표준적이고 안전한 시나리오에서 시스템은 가용한 문서들을 읽고, 정확한 사실을 찾아내며, 그 사실을 보유한 문서를 인용할 것입니다. 그러나 연구자가 혼합된 문서들 속에 정교하게 제작된 단 하나의 악의적인 문서를 도입했을 때, 시스템의 동작은 극적으로 변했습니다. 이 악의적인 문서는 정확한 정보를 삭제하거나 시스템이 진실을 찾는 것을 방 ได้ 막으려 하지 않았습니다. 대신, 이 문서는 시스템이 그 거짓 주장을 자신의 답변으로 채택하도록 할 만큼 매우 설득력 있게 작성되었습니다. 결정적으로, 이 문서는 시스템이 출처를 선택하는 방식의 허점을 이용하도록 구조화되었습니다.

시스템의 출처 선택 방식은 어떤 문서가 답변을 유발했는지를 완벽하게 반영하지 않습니다. 대신, 문서가 목록의 어디에 위치하는지, 그리고 문서에 붙은 특정 표식이나 라벨에 의해 영향을 받습니다. 연구자는 자신의 악의적인 문서를 특정 위치에 배치하고 신뢰할 수 있는 무고한 문서의 라벨을 모방하는 미묘한 문장을 추가함으로써, 시스템이 강제로 무고한 문서를 인용하게 만들 수 있다는 것을 발견했습니다. 그 결과는 "세탁된" 인용이었습니다. 즉, 시스템은 나쁜 문서에 의해 유도된 틀린 답을 내놓았지만, 사용자는 좋은 문서를 가리키는 인용을 보게 된 것입니다. 테스트 결과, 이 기술은 오답률을 미미한 1퍼센트에서 거의 70퍼센트로 높였습니다. 가장 취약한 시스템에서는 공격이 90퍼센트 이상의 사례에서 성공했으며, 이는 이 결함이 드문 글리치가 아니라 이러한 시스템이 답변과 출처를 연결하는 방식의 근본적인 약점임을 증명합니다.

이 발견이 특히 우려되는 이유는 이 공격이 텍สาร 내에 숨겨진 복잡한 지시나 명령 없이도 작동한다는 점입니다. 악의적인 문서는 그저 일반적인 백과사전 항목처럼 읽히며, 거짓 사실을 확립된 진실인 것처럼 진술한 뒤, 신뢰할 수 있는 출처를 가볍게 언급하는 문장을 덧붙입니다. 시스템은 자연스러운 패턴에 따라 이 문구와 텍스트의 위치를 포착하여 인용을 생성합니다. 연구자는 이 취약성이 시스템의 전체적인 크기나 지능보다는 출처를 인용하려는 의지와 상관관계가 있음을 보여주었습니다. 정확하고 근거가 확실한 답변을 제공하는 데 가장 뛰어난 모델들이 오히려 이 속임수에 가장 취약한데, 왜냐하면 그들이 바로 인용을 생성할 가능성이 가장 높은 모델들이기 때문입니다. 아무것도 인용하지 않는 시스템은 인용 세탁을 당할 수 없지만, 그렇다면 인간 독자에 의해 검증될 수도 없습니다.

이 문제가 얼마나 깊은지 이해하기 위해, 연구자는 인용된 텍스트가 해당 주장을 뒷받침하는지 단순히 확인하는 방어 기제를 테스트했습니다. 이것은 현재 사용자와 자동화된 도구들이 정보를 검증하는 표준적인 방식입니다. 연구자들은 이 방어 기제가 인용 세탁에 대해 완전히 실패한다는 것을 발견했습니다. 시스템이 신뢰할 수 있는 문서를 가리키고 있고, 그 문서가 실제로 존재하며 주제와 관련이 있기 때문에, 검증은 통과됩니다. 시스템은 그 신뢰할 수 있는 문서가 무엇을 말하는지에 대해 거짓말을 하는 것이 아닙니다. 시스템은 어떤 문서가 답변을 유발했는지에 대해 거짓말을 하고 있는 것입니다. 신뢰할 수 있는 문서는 무죄이지만, 악의적인 문서를 위한 방패로 사용되고 있습니다. 연구자는 맥락에서 해당 악의적인 소스를 제거했을 때 시스템이 올바른 답변으로 돌아가는 것을 관찰함으로써, 악의적인 소스가 틀린 답변의 진정한 동력이었음을 확인했으며, 이를 통해 인용이 '레드 헤링(주의를 돌리기 위한 미끼)'이었음을 입증했습니다.

연구는 또한 이상하거나 혼란스러운 텍스트를 필터링하는 것만으로 이 공격을 막을 수 있는지 탐구했습니다. 연구자들은 악의적인 문서들이 자연스럽고 전문적인 산문처럼 작성되었기 때문에, 명백한 오류나 이상한 문구를 잡아내도록 설계된 필터를 통과한다는 것을 발견했습니다. 이 특정 유형의 기만을 신뢰성 있게 탐지하는 유일한 방법은 출처와 주장 사이의 인과 관계를 살펴보는 것, 즉 "이 출처가 주장을 뒷받침하는가?"를 묻는 것이 아니라 "이 출처가 실제로 주장을 유발했는가?"를 묻는 것입니다. 연구자는 각 소스를 하나씩 제거해보며 어떤 것이 실제로 출력에 책임을 지는지 시뮬레이션하는 새로운 방어 방법을 제안했습니다. 비록 이 접근 방식이 더 많은 계산 비용을 요구하지만, 인용 세탁을 꿰뚫어 볼 수 있는 유일한 방법입니다.

이 연구의 함의는 학술적 호기심을 넘어섭니다. 인공지능이 뉴스, 연구, 의사결정에 점점 더 통합됨에 따라, 인용에 부여되는 신뢰는 핵심적인 안전 기능입니다. 만약 이 기능이 조작될 수 있다면, 전체 감사 추적(audit trail)은 신뢰할 수 없게 됩니다. 연구자는 이것이 이론적인 위험이 아니라 비교적 간단한 도구로 실행 가능한 실질적인 위험임을 보여주었습니다. 그는 이 공격이 다양한 유형의 질문과 다양한 모델에서 작동함을 보여줌으로써, 문제가 광범위하다는 것을 시사했습니다. 가장 효과적인 모델들, 즉 정상적인 조건에서 가장 유용하고 정확한 모델들이, 인용을 제공하도록 가장 쉽게 유도될 수 있는 모델들입니다.

결국, 이 논문은 시스템이 사용했다고 말하는 것과 실제로 사용한 것 사이의 간극을 드러냅니다. 인용은 기계를 설득한 소스에 대한 기억이 아니라, 텍스트의 위치와 라벨에 의해 형성된 기계 자체의 디코딩 과정의 산물입니다. 이 불일치는 공격자가 신뢰할 수 있는 이름 뒤에 거짓 주장을 숨길 수 있는 공간을 만듭니다. 연구자는 단순한 패치나 규칙 변경으로 이를 해결할 방법을 찾은 것이 아닙니다. 대신, 현재의 정보 검증 방식이 불충분하며, 인용된 출처가 정말로 중요했던 출처인지 보장하기 위해 새로운 접근 방식이 필요함을 보여주었습니다. 이 연구는 자동화된 답변의 시대에, 영수증이 항상 구매의 증거는 아니며, 가장 신뢰할 수 있어 보이는 증거가 가장 위험할 수 있다는 경고의 역할을 합니다.