Assessing Attack Surfaces in Generative Search Engines through Publisher Attributes: A Case Study in Political Domains

현대 디지털 환경에서, 단순히 링크를 나열하는 데 그치지 않고 웹을 읽고 질문에 대한 직접적인 답변을 작성하는 새로운 종류의 검색 엔진이 등장했습니다. 생성형 검색 엔진으로 알려진 이 시스템들은 인터넷의 방대한 도달 범위와 첨단 인공지능의 대화 능력을 결합합니다. 이들은 사용자의 질의를 받아 수백만 개의 웹 페이지를 스캔하고, 출처를 밝히며 요약본을 합성하는 가교 역할을 합니다. 이러한 변화는 사람들이 정보를 접하는 방식을 바꾸어 놓았습니다. 즉, 결과 목록을 훑어보는 것에서부터 큐레이션된 서사를 받는 것으로 이동한 것입니다. 그러나 이 기계들은 누구나 공개된 웹에 게시할 수 있는 콘텐츠에 의존하기 때문에 독특한 취약성에 직面해 있습니다. 요리사가 단 하나의 나쁜 식재료에 속을 수 있듯이, 이 엔진들은 정당한 것처럼 보이도록 설계된 거짓 정보를 게시하는 악의적인 행위자들에게 기만당할 수 있습니다. 만약 공격자가 시스템을 속여 가짜 뉴스 사이트를 인용하게 만든다면, 엔진은 그 거짓 정보를 사실로서 제시하여 전달하는 정보의 신뢰성을 훼//해할 수 있습니다.

게이오 대학교와 쿼리리프트(QueryLift Inc.)의 연구진은 정치라는 이해관계가 걸린 영역에서 이 시스템들이 정확히 얼마나 취약한지를 측정하기 위해 연구를 시작했습니다. 그들은 구체적인 질문에 집중했습니다. 즉, 공격자가 이 엔진들이 생성하는 답변에 거짓 정보를 주입하는 것이 얼마나 쉬운가 하는 점입니다. 이를 위해 그들은 엔진이 인용하는 출처를, 악의적인 행위자가 그러한 웹사이트를 만드는 데 드는 난이도에 따라 분류하는 방법을 개발했습니다. 그들은 난이도의 척도를 상상했습니다. 척도의 상단에는 정당의 공식 웹사이트와 같은 "일차 출처"가 있는데, 이는 정당이 직접 소유하고 통제하기 때문에 조작하기 어렵습니다. 하단에는 사회관계망서비스(SNS)나 개인 블로그와 같은 "낮은 장벽의 출처"가 있으며, 이곳은 누구나 별다른 감독 없이 즉각적으로 무엇이든 게시할 수 있는 곳입니다. 연구진은 만약 엔진이 이러한 낮은 장벽의 출처에 과도하게 의존한다면, 그것은 넓고 노출된 공격 표면에 놓여 있는 것이며, 결과적으로 오보가 최종 답변에 침투하기 더 쉬워진다고 판단했습니다.

연구팀은 OpenAI, Anthropic, Google의 모델을 사용하여 미국과 일본의 정당에 관한 수백 개의 질문을 던짐으로써 세 가지 주요 생성형 검색 엔진을 테스트했습니다. 그들은 여당과 야당의 입장에 대해 질문했으며, 질문의 내용에 따라 엔진의 행동이 변하는지 확인하기 위해 질문을 다양화했습니다. 그들은 높은 정치적 지식을 가진 사용자와 지식이 없는 사용자, 그리고 서로 다른 정치적 성향을 가진 사용자를 포함하여 다양한 유형의 사용자를 시뮬레이션했습니다. 목표는 사용자의 프로필이나 정치적 맥락에 따라 엔진의 출처 선택이 바뀌는지 확인하고, 최종 답변이 실제로 이러한 출처로부터 얼마나 추출되었는지를 측정하는 것이었습니다.

결과는 명확하고 우려스러운 패턴을 드러냈습니다. 이 시스템들의 취약성은 질문을 하는 사람이 누구인지보다는, 사용 중인 특정 엔진 모델과 어떤 정당이 논의되고 있는지에 훨씬 더 많이 좌우되었습니다. 테스트된 모델 중 하나인 OpenAI의 GPT-5는 공식 정당 웹사이트와 고품질 출처를 고수하는 경향이 있어, 쉬운 조작의 문을 효과적으로 닫아버렸습니다. 반면, Google의 Gemini는 낮은 장벽의 출처를 빈번하게 인용하여 공격자가 거짓 정보를 주입할 수 있는 훨씬 넓은 틈을 남겨두었습니다. 연구에 따르면, 엔진이 여당에 대해 질문받았을 때 야당에 대해 질문받았을 때보다 이러한 주입하기 쉬운 출처에 훨씬 더 많이 의존하는 것으로 나타났습니다. 이는 현실 세계에서 한 정당의 성공이 막대한 양의 웹 콘텐츠를 생성하기 때문에, 역설적으로 검색 엔진이 공식 출처를 찾는 것을 더 어렵게 만들어, 오보가 번성하는 검증되지 않은 콘텐츠의 바다로 밀어 넣을 수 있음을 시사합니다.

아마도 가장 안심이 되는 발견은 사용자의 정체가 결과에 영향을 미치지 않았다는 점일 것입니다. 연구진은 사용자의 정치적 이데올로기나 지식 수준이 엔진을 더 취약한 출처 세트로 전환하게 만드는지 테스트했습니다. 그렇지 않았습니다. 사용자가 보수적이든, 진보적이든, 혹은 정치적 지식이 전혀 없든 간에 엔진은 동일한 유형의 출처를 인용했습니다. 이는 답변을 오염시킬 위험이 누가 질문하느냐의 문제가 아니라, 엔진이 구축된 방식과 웹을 탐색하는 방식의 구조적 결함에 관한 문제임을 의미합니다. 이 연구는 도구의 안전성이 사용자의 의도가 아니라, 엔진의 내부 설계와 논의되는 특정 주제에 의해 결정된다고 결론짓습니다.

연구진은 또한 엔진이 인용한 콘텐츠를 얼마나 충실히 반영하는지도 살펴보았습니다. 그들은 엔진이 조작하기 어려운 고품질 출처를 인용했을 때는 대개 그 출처를 매우 정확하게 반영한다는 것을 발견했습니다. 그러나 낮은 장벽의 출처에 의존할 때는 엔진이 원문에서 벗어나 내용을 요약하거나 해석하는 방식으로 원문과 괴리가 생기는 경우가 많았습니다. 이는 이중의 위험을 초래합니다. 출처 자체가 조작되기 쉽고, 동시에 엔진이 해당 출처가 실제로 말하는 바를 엄격하게 따를 가능성도 낮아지기 때문입니다.

궁극적으로, 이 연구는 이러한 강력한 도구들이 어디에서 가장 쉽게 무너질 수 있는지에 대한 지도를 제공합니다. 이는 오염된 답변으로 가는 경로가 무작위가 아니라는 것을 보여줍니다. 그것은 사용된 기술과 정치적 지형에 기반한 특정 패턴을 따릅니다. 연구는 정보의 무결성을 보호하기 위해서 개발자들이 시스템이 출처를 선택하는 방식에 집중해야 하며, 오보가 가장 쉽게 퍼지는 채널을 의도치 않게 선호하지 않도록 해야 한다고 제안합니다. 연구 결과는 해결책이 사용자를 바꾸는 데 있는 것이 아니라, 키보드를 잡고 있는 사람이 누구든 상관없이 신뢰할 수 있는 출처와 위험한 출처를 구별하는 엔진의 능력을 정교화하는 데 있음을 나타냅니다.