Blast Radius Characterization of Triple-Level Poisoning Attacks in Knowledge Graph Retrieval-Augmented Generation Systems

인터넷을 모든 책이 정보의 조각인 거대하고 혼란스러운 도서관이라고 상상해 보세요. 오랫동안 질문에 답하려는 컴퓨터들(우리의 똑똑한 AI 비서 같은 것들)은 단순히 선반에서 가장 유사한 책 한 권을 집어 들고, 그것을 읽은 뒤 답을 추측하곤 했습니다. 그것은 마치 사서에게 요리법을 물어봤는데, 표지에 "치킨"이라는 단어가 적혀 있다는 이유만으로 무작위 요리책을 받는 것과 같았습니다. 하지만 최근 과학자들은 다른 종류의 도서관을 만들기 시작했습니다. 바로 **지식 그래프(Knowledge Graph)**입니다. 단순히 책더미가 쌓여 있는 것이 아니라, 모든 사실이 노드(점)이고 모든 관계가 그들을 연결하는 줄인 거대한, 빛나는 웹 형태의 도서관입니다. 만약 당신이 "치킨"에 대해 묻는다면, 시스템은 단순히 책을 찾는 것이 아니라 치킨이 무엇을 먹는지, 어떤 질병을 옮길 수 있는지, 그리고 어떤 레시피에 치킨이 쓰이는지를 확인하기 위해 줄을 따라갑니다. 이것을 **검색 증강 생성(Retrieval-Augmented Generation, RAG)**이라고 부릅니다. 이는 AI에게 단순히 단어 목록을 주는 대신 지도를 주는 것과 같으며, 이를 통해 AI가 복잡한 사실의 사슬을 통해 추론할 수 있게 해줍니다.

하지만 이 새로운 웹 형태의 도서관에는 무서운 새로운 약점이 생겼습니다. 예전의 책 선반 시스템에서는 누군가 책 한 권에 가짜 페이지를 끼워 넣더라도, 그 특정 책을 찾는 사람들만이 속게 될 뿐이었습니다. 하지만 연결된 점들의 웹에서는, 만약 당신이 지도의 중간에 있는 단 하나의 줄을 오염시킨다면, 그 거짓말은 동시에 수십 개의 서로 다른 경로를 타고 퍼져나갈 수 있습니다. 이는 마치 중심부의 강에 붉은 염료 한 방울을 떨어뜨리는 것과 같습니다. 갑자기 그 강과 연결된 모든 시내, 연못, 폭포가 분홍색으로 변하게 됩니다. 이 논문은 정확히 그 "염료"가 얼마나 멀리 퍼지는지를 조사합니다. 연구자들은 알고 싶었습니다. 만약 악의적인 행위자가 이 연결된 웹에 단 하나의 거짓말을 주입한다면, 얼마나 많은 서로 다른 질문들에 대해 AI가 틀린 답을 내놓게 될 것인가를 말입니다. 그들은 이를 **"블래스트 라디우스(Blast Radius, 폭발 반경)"**라고 부릅s니다. 이는 시스템이 엉클어진 연결망 위에 구축되었을 때, 하나의 작은 실수가 얼마나 많은 피해를 줄 수 있는지를 측정하는 척도입니다.

거대한 실험: 독은 어디까지 퍼지는가?

이 논문의 저자들은 매우 구체적이고 위험도가 높은 환경, 즉 의료 지식 그래프에서 이 "블래스트 라디우스"를 측정하기 위한 디지털 실험을 설정했습니다. 그들은 Gemma 2 9B라는 이름의 AI 모델이 구동되는 Microsoft GraphRAG 시스템을 사용하였으며, 암, 당뇨병, 바이러스 등에 관한 실제 의학 초록들을 입력값으로 사용했습니다.

시스템을 테스트하기 위해, 그들은 복잡한 코드나 비밀번호로 AI를 속이려 하지 않았습니다. 대신, 그들은 "구조적 사보타주(structural sabotage)" 게임을 벌였습니다. 그들은 지식 그래프에 세 가지 유형의 가짜 사실(이를 "트리플(triples)"이라 부름)을 주입하여 피해가 어떻게 확산되는지 관찰했습니다.

1. "에지(Edge)" 공격: 그들은 몇 개의 연결만을 가진 사소하고 무명한 의학적 사실(예: 희귀 질환에 대한 특정 약물)에 대해 거짓을 심었습니다.
2. "허브(Hub)" 공격: 그들은 수십 개의 다른 요소와 연결된 슈퍼스타 의학적 사실인 "허브"를 겨냥했습니다. 실험에서 그들은 암 연구의 중심 인물인 p53을 선택했습니다. p53은 유전자, 질병, 치료법 등 도처에 연결되어 있습니다. 그들은 p53이 종양을 막는 대신 종양을 유발한다는 거짓 정보를 주입했습니다.
3. "체인(Chain)" 공격: 그들은 실제로는 존재하지 않는 네 가지 의학적 주제를 연결하는 세 개의 연결된 거짓말로 이루어진 가짜 이야기를 만들었습니다.

충격적인 결과: 하나의 거짓말, 14개의 실수

결과는 경종을 울렸습니다. 연구자들은 웹의 형태가 거짓말의 내용보다 더 중요하다는 것을 발견했습니다.

• "에지" 공격: 사소하고 무명한 사실에 대해 거짓말을 했을 때, 피해는 국한되었습니다. 주입된 거짓말 하나당 AI는 7개의 오답을 냈습니다. 독이 퍼지기는 했지만, 대부분 국지적인 수준에 머물렀습니다.
• "허브" 공격: 여기서 상황은 걷잡을 수 없이 변했습니다. 매우 연결성이 높은 단백질인 p53에 대해 단 하나의 거짓말을 주입했을 때, 블래스트 라디우스가 폭발했습니다. 그 단 하나의 거짓 사실은 AI가 14개의 오답을 내도록 만들었습니다. 이는 "허브" 공격이 에지 공격보다 두 배 더 위험함을 의미합니다. 왜냐하면 단 하나의 가짜 데이터를 사용했음에도 불구하고 말입니다. 거짓말은 p53에 머물지 않고 웹을 타고 흘러가, 사용자가 p53을 직접 묻지도 않은 암 치료법, 유전자 치료, 약물 기전 등에 대한 답변까지 오염시켰습니다.
• "체인" 공격: 세 개의 거짓말로 가짜 체인을 만들었을 때, 피해는 깊었지만 거짓말 하나당 폭발력은 약간 낮았습니다(약 4개의 오답). 그러나 이 방식은 복잡하고 다단계적인 질문에서 AI를 속이는 데 매우 효과적이었습니다.

"투 홉(Two-Hop)"의 취약점

가장 흥ran한 발견 중 하나는 어떤 질문들이 가장 많이 망가졌는가 하는 점이었습니다. 연구자들은 AI가 답을 찾기 위해 웹을 통해 한 단계(1-hop), 두 단계(2-hop), 또는 세 단계(3-hop) 거쳐야 하는 질문들을 테스트했습니다.

그들은 두 단계(2-step) 질문이 가장 취약하다는 것을 발견했습니다. AI가 답을 얻기 위해 하나의 중간 사실을 건너뛰어야 할 때, 독이 든 구역에 발을 들일 가능성이 가장 높은 것으로 보입니다. 허브 공격에서, 10개 중 6개의 두 단계 질문이 오염되었습니다. "캐스케이드 효과(Cascade Effect, 연쇄 효과)"는 실재했습니다: AI는 직접적인 질문만 틀리는 것이 아니라, 그 거짓말로 인한 결과까지 틀렸습니다. 실제로 모든 시나리오에서 "간접적" 피해(간접적으로 영향을 받은 답변)가 "직접적" 피해(거짓을 명시적으로 언급한 답변)보다 훨씬 컸습니다.

이것이 왜 중요하며 어떻게 해결할 것인가

논문은 지식 그래프에서 위치가 전부라고 결론짓습니다. 만약 도서관의 조용한 구석을 오염시킨다면 그것은 작은 문제에 불과합니다. 하지만 모든 도로가 만나는 주요 교차로를 오염시킨다면 도시 전체가 길을 잃게 됩니다. 이는 단 하나의 잘못된 사실이 잘못된 진단이나 잘못된 법적 전략으로 이어질 수 있는 의학, 법률, 비즈니스 분야에서 매우 큰 문제입니다.

이에 맞서기 위해, 저자들은 **"차수 가중 신뢰 점수(Degree-Weighted Trust Scoring)"**라는 새로운 방어책을 제안합니다. 도서관 입구에 보안 요원이 있다고 상상해 보세요. 이 요원은 단순히 책을 읽어 그것이 가짜인지 확인하는 대신, 저자와 주제를 살핍니다. 만약 새로운 사실이 "허브"(p53처럼 매우 연결된 엔티티)에 관한 것이라면, 요원은 매우 의심을 품고 시스템에 들여보내기 전에 인간이 재확인하도록 플래그를 표시합니다. 반면, 그 사실이 사소하고 무명한 주제에 관한 것이라면 요원은 빠르게 통과시킵니다. 이렇게 함으로써 시스템은 지도의 가장 위험한 부분을 보호하는 데 에너지를 집중할 수 있습니다.

요컨대, 이 논문은 우리의 AI 지식을 웹 형태로 연결하는 것이 AI를 더 똑똑하게 만들기도 하지만, 동시에 더 취약하게 만든다는 것을 보여줍니다. 적절한(혹은 잘못된) 위치에 있는 단 하나의 거짓말은 우리가 예상치 못한 방식으로 파급되어 시스템을 혼란에 빠뜨리고, 작은 실수를 거대한 재앙으로 바꿀 수 있습니다.