🤖 machine learning

Both Topology and Text Matter: Revisiting LLM-guided Out-of-Distribution Detection on Text-attributed Graphs

본 논문은 LLM 유도 및 합의 기반의 OOD 노출을 활용하여 위상과 텍스트 표현을 효과적으로 정렬함으로써, 기존 방법들의 신뢰성 및 호환성 한계를 극복하고 텍스트 속성 그래프에서의 분포 외(out-of-distribution) 탐지 성능을 크게 향상시키는 플러그 앤 플레이 프레임워크인 LG-Plug을 제안한다.

원저자: Yinlin Zhu, Di Wu, Xu Wang, Guocong Quan, Miao Hu

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yinlin Zhu, Di Wu, Xu Wang, Guocong Quan, Miao Hu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 거대하고 북적이는 도서관의 사서라고 상상해 보세요. 이 도서관의 모든 책(노드)은 보이지 않는 실(엣지)로 다른 책들과 연결되어 거대한 웹을 형성하고 있습니다. 또한 각 책의 뒷표지에는 상세한 요약(텍text)이 적혀 있습니다.

당신의 임무는 "가짜" 책들을 찾아내는 것입니다. 즉, 이 도서관에 전혀 어울리지 않는 책들 말이죠. 이 가짜 책들은 이상한 요약 내용을 담고 있거나, 지금까지 한 번도 본 적 없는 기괴한 방식으로 다른 책들과 연결되어 있을 수 있습니다.

문제점: 두 가지 결함이 있는 전략

이 논문은 현재의 사서들(AI 모델)이 가짜 책을 찾기 위해 두 가지 주요 전략을 사용하지만, 두 방법 모두 큰 구멍이 있다고 설명합니다.

"지도만 보는" 사서 (위상 구조 중심 - Topology-Driven):
이 사서는 오직 책들을 연결하는 실(구조)만을 봅니다. 만약 어떤 책이 이상한 위치에 매달려 있거나 엉뚱한 이웃들과 연결되어 있다면, 그 책을 의심스러운 책으로 분류합니다.

결함: 이들은 뒷표지의 텍스트를 무시합니다. 따라서 위치는 완벽하게 정상적이지만, 요약이 완전히 다른 언어로 쓰여 있거나 이 도서관에 존재하지 않는 주제에 관한 내용인 책을 놓칠 수 있습니다. 이들은 의미에 대해 "눈이 먼" 상태입니다.

"챗봇" 사서 (LLM 기반):
이 사서는 요약문을 읽고 무엇이 가짜인지 추측하는 데 매우 똑똑한 AI(거대 언어 모델)를 사용합니다.

결함: 이 AI는 글을 읽는 데는 뛰어나지만, 종종 너무 확신에 차 있거나 너무 혼란스러워합니다.
- 때로는 안전을 기하기 위해, 실제 가짜와는 전혀 다른 아주 이상한 가짜 책 요약을 스스로 만들어내기도 합니다 (신뢰성 부족).
- 또 다른 경우에는, 무작위로 책들을 살펴보고 추측하려다가 실수로 진짜 책을 가짜로 오해하여 데이터에 "노이즈(잡음)"를 섞기도 합니다.
- 또한, 이 AI 사서들은 맞춤형 일회용 기계처럼 만들어져서 기존의 "지도만 보는" 사서들과 잘 협업하지 못합니다.

해결책: LG-Plug (스마트 어시스턴트)

저자들은 LG-Plug라는 새로운 도구를 제안합니다. 이것을 기존 사서의 대체재가 아니라, 어떤 기존 사서(심지어 "지도만 보는" 사서라도)에게도 끼워서 사용할 수 있는 플러그 앤 플레이 방식의 스마트 어시스턴트라고 생각하세요.

LG-Plug가 작동하는 방식은 다음과 같습니다 (쉬운 비유를 사용합니다):

1. "이중 확인" 정렬 (The "Double-Check" Alignment)

먼저, LG-Plug는 사서가 실(구조)과 요약(텍스트)을 동시에 보도록 강제합니다.

비유: 이제 사서가 도서관의 지도 위에 책의 텍스트를 직접 겹쳐서 보여주는 특수 안경을 쓴다고 상상해 보세요. 이를 통해 사서는 책의 위치와 의미를 모두 담아낸 "완벽한 신분증"을 만들 수 있습니다. 이는 단순히 하나만 보는 것보다 진짜 책과 가짜 책을 훨씬 더 잘 구분해 줍니다.

2. "집단 합의" 전략 (The "Group Consensus" Strategy)

AI에게 모든 책을 하나하나 판단하게 하는 대신(느리고 오류가 발생하기 쉽습니다), LG-Plug는 유사한 책들을 하나의 "클러스터(군집)"로 묶습니다.

비유: 당신 앞에 의심스러운 책 더미가 있다고 상상해 보세요. AI에게 "이 특정 책이 가짜인가요?"라고 묻는 대신, "매우 비슷해 보이는 이 10권의 책들이 공통된 '가짜' 테마를 공유하고 있나요?"라고 묻는 것입니다.
AI는 그룹에서 작은 샘플을 조사하도록 요청받습니다. 만약 AI가 이 책들이 모두 기이하고 도서관 주제와 맞지 않는 공통점을 공유한다고 동의하면, 그룹 전체를 의심스러운 것으로 분류합니다. 이러한 "합의" 과정은 AI를 훨씬 더 신뢰할 수 있게 만들며 실수를 줄여줍니다.

3. "효율적인 필터" (The "Efficient Filter")

시간과 비용을 절약하기 위해(똑똑한 AI에게 질문하는 것은 많은 계산 자원을 소모하므로), LG-Plug는 "코드북"을 사용합니다.

비유: AI가 모든 이상한 책에 대해 새로운 이름을 지어내도록 하는 대신, 미리 만들어진 카테고리 목록을 확인합니다. 만약 책이 기존의 "이상한" 카테고리에 부합하면 그대로 두고, 그렇지 않은 경우에만 새로운 라벨을 생성합니다. 이 과정에서 AI에게는 각 그룹당 단 몇 번만 질문을 던지므로 매우 빠르고 저렴합니다.

4. "플러그 앤 플레이" 통합 (The "Plug-and-Play" Integration)

마สุดท้าย, LG-Plug는 찾아낸 "의심스러운 가짜 목록"을 원래의 사서에게 힌트로 전달합니다.

비비: 이는 "지도만 보는" 사서에게 "이 특정 책들은 확실히 가짜이니, 이 책들에 대해 경보가 울리도록 하세요"라고 적힌 포스트잇을 건네주는 것과 같습니다. 사서는 자신의 직무를 바꿀 필요 없이, 이 새로운 힌트를 사용하여 정확도를 높이기만 하면 됩니다.

결과

논문은 이를 6개의 서로 다른 "도서관"(데이터셋)에서 테스트했습니다. 결과는 다음과 같습니다:

더 나은 정확도: LG-Plug를 기존의 "지도만 보는" 사서에게 추가했을 때, 이들은 가짜 책을 훨씬 더 잘 찾아냈습니다 (오탐지를 크게 줄였습니다).
전문가 능가: LG-Plug는 기존에 최고 수준(state-of-the-art)으로 여겨졌던 독립형 "챗봇" 사서들보다 더 뛰어난 성능을 보였습니다.
효율성: 이 모든 과정을 기존의 AI 방식들보다 훨씬 적은 "AI 질문"(계산 비용)을 사용하여 수행했습니다.

요약하자면, LG-Plug는 기존 방식의 구조적 인식 능력과 현대적 AI의 독해 능력을 결합하고, 양측의 실수를 피하기 위해 팀워크(합의)를 사용하는 영리한 절충안입니다.

기술 요약: 텍스트 속성 그래프의 OOD 탐지를 위한 LG-Plug

문제 정의

본 논문은 **텍스트 속성 그래프(Text-Attributed Graphs, TAGs)**에서의 분포 외(Out-of-Distribution, OOD) 탐지 과제를 다룹니다. TAG는 그래프 구조(에지)와 텍스트 설명이 결합된 노드들로 구성됩니다. 그래프 신경망(GNN)은 의미론적 정보와 구조적 정보를 공동으로 학습하여 분포 내(In-Distribution, ID) 데이터를 효과적으로 모델링하지만, 보지 못한 텍스트 패턴이나 구조적 구성을 가진 OOD 노드에 대해서는 과도하게 확신에 찬 잘못된 예측을 내놓는 경우가 많습니다.

기존 솔루션들은 두 가지 주요 한계점에 직면해 있습니다:

토폴로지 기반 방법: 이 방식은 OOD 노드를 탐지하기 위해 구조적 이웃에 의존하지만, 일반적으로 노드 텍스트를 단순한 특징(예: bag-of-words)으로 취급하여 심층적인 의미 지식을 활용하지 못합니다.
LLM 기반 방법: 최근 접근법들은 LLM을 사용하여 가상의 OOD 사전 확률(priors)을 합성합니다. 그러나 이들은 신뢰성-정보성 불균형(reliability-informativeness imbalance) 문제를 겪습니다:
- 신뢰성 중심 방법(ID 레이블을 프롬프트로 사용)은 ID와의 중복이 없는 안전한 OOD 샘플을 생성하지만, 의미론적으로 비현실적인 경우가 많습니다.
- 정보성 중심 방법(레이블이 없는 노드를 샘플링)은 현실적인 의미를 생성하지만, 실제 ID 노드를 OOD로 오분류하여 노이즈를 유입시킬 위험이 있습니다.
- 또한, 이러한 방법들은 종종 특수한 엔드 투 엔드(end-to-end) 아키텍처를 요구하므로, 기존의 토폴로지 기반 탐지기와의 호환성이 제한됩니다.

저자들은 두 가지 연구 질문을 제기합니다: 어떻게 신뢰할 수 있으면서도 정보가 풍부한 OOD 사전을 생성할 것인가? 어떻게 기존의 토폴로지 기반 탐지기와 호환성을 유지하면서 이러한 사전을 활용할 것인가?

방법론: LG-Plug

저자들은 기존의 토폴로지 기반 OOD 탐지기에 밑단의 아키텍처를 수정하지 않고도 LLM 유도 의미 사전(semantic priors)을 증강하도록 설계된 프레임워크인 LG-Plug(LLM-Guided Plug-and-play)를 제안합니다. 이 프레임워크는 세 가지 주요 단계로 구성됩니다:

1. 토폴로지-텍스트 표현 정렬 (Topology-Text Representation Alignment)

ID 및 OOD 노드를 구분할 수 있는 미세한 노드 임베딩을 얻기 위해, LG-Plug는 그래프와 텍스트 표현을 정렬합니다:

인코더: 2개 층의 GCN이 그래프 구조를 인코딩하고, 트랜스포머(Transformer) 기반 인코더가 원시 노드 텍스트를 처리합니다.
정렬 목적 함수:
- 노드 수준 정렬: 각 노드에 대해 그래프 임베딩( $Z$ )과 텍스트 임베딩( $H$ )을 정렬하기 위해 대칭적 대조 학습(symmetric contrastive loss)을 사용합니다.
- 에지 수준 정렬: 연결된 노드들에 대해 토폴로지 유사도 행렬(로부터 유도된 $Z$ )과 텍스트 유사도 행렬(로부터 유도된 $H$ ) 사이의 차이를 최소화합니다.
목표: 이 공동 학습은 ID 노드와 OOD 노드가 의미론적 및 구조적 단서 모두를 바탕으로 초기 단계부터 분리될 수 있는 임베딩을 생성합니다.

2. LLM을 통한 합의 기반 OOD 노출 (Consensus-Driven OOD Exposure with LLM)

개별 노드에 대해 LLM을 쿼리하는 대신(이는 노이즈가 많고 비용이 많이 듭니다), LG-Plug는 클러스터 수준에서 OOD 노출을 생성합니다:

클러스터링: 정렬된 임베딩 공간에서 레이블이 없는 노드들을 클러스터링합니다.
대표 노드 선택: 각 클러스터에 대해, 의미론적 일관성을 보장하기 위해 중심점(centroid)에 가장 가까운 소수의 노드들을 선택합니다.
반복적 프롬프팅 및 코드북(Codebook):
- 알려진 ID 클래스로 초기화된 경량 카테고리 코드북을 사용합니다.
- 클러스터 내 대표 노드들의 배치(batch) 단위로 LLM에 순차적으로 쿼리를 보냅니다. 프롬프트는 LLM에게 노드를 기존 카테고리에 할당하거나 새로운 OOD 카테고리를 생성하도록 요청합니다.
- 코드북은 LLM의 할당 결과에 따라 동적으로 업데이트됩니다.
합의 필터링: 프로세스는 배치가 의미론적 합의(모두 동일한 카테고리로 할당됨)에 도달하거나 시도 제한에 도달할 때까지 반복됩니다.
OOD 노출 선택: 코드북에서 상위 $K$ 개의 카테로리를 선택합니다. 만약 이 카테고리들이 ID 클래스를 포함하지 않는다면, 해당 카테고리에 할당된 노드들을 OOD 노출 집합( $V_{exp}$ )에 추가합니다. 이는 생성된 OOD 사전이 신뢰할 수 있고(ID 중복 없음) 정보가 풍부함(클러스터 합의 기반)을 보장합니다.
효율성: 클러스터 샘플링과 코드북을 사용함으로써, 전수 조사 방식의 노드 수준 프롬프팅에 비해 LLM 쿼리 비용을 크게 줄입니다.

3. 점수 정규화 (Score Regularization)

생성된 OOD 노출 집합( $V_{exp}$ )은 기존 탐지기를 강화하기 위한 정규화 항으로 사용됩니다:

탐지기의 OOD 점수에 마진 기반 손실( $L_{reg}$ )을 적용합니다.
이는 분리 마진을 강제합니다: ID 노드는 낮은 OOD 점수를 가져야 하며, $V_{exp}$ 에 속한 노드는 높은 OOD 점수를 가져야 합니다.
이를 통해 LG-Plug는 아키텍처 변경 없이 GNNSafe, GRASP와 같은 모든 토폴로지 기반 탐지기에 매끄럽게 통합될 수 있는 "플러그인" 역할을 수행합니다.

주요 기여

통찰력: 본 논문은 현재의 LLM 기반 OOD 생성에서 발생하는 신뢰성-정보성 트레이드오프와 이러한 방법들이 토폴로지 기반 접근법과 호환되지 않는다는 점을 식별했습니다.
새로운 방법론 (LG-Plug): 토폴로지-텍스트 정렬과 합의 기반 LLM 프롬프팅을 사용하여 고품질의 OOD 사전을 생성하는 플러그 앤 플레이(plug-and-play) 프레임워크를 제안합니다.
성능: 이 방법은 기존 탐지기들을 개선하면서도 효율성을 유지하며 최첨단(state-of-the-art) 결과를 달면합니다.

실험 결과

저자들은 6개의 TAG 벤치마크(Cora, CiteSeer, PubMed, WikiCS, Books-History, ogbn-arxiv)에서 FPR95(95% 참 양성률에서의 거짓 양성률)와 AUROC를 사용하여 LG-Plug를 평가했습니다.

토폴로지 기반 방법 대비 개선 사항: LG-Plug를 토폴로지 기반 베이스라인(GNNSafe, GRASP)에 통합했을 때, 베이스라인 단독 사용 시보다 FPR95가 $\ge$ 7% 일관되게 감소했습니다.
LLM 기반 방법과의 비교: LG-Plug가 통합된 탐지기는 단독 LLM 기반 OOD 방법들(LLMGuard, GLIP-OOD, GOE-LLM)보다 FPR95 감소 측면에서 $\ge$ 5% 더 우수한 성능을 보였습니다.
절제 연구(Ablation Studies): 표현 정렬 또는 클러스터 내 필터링 메커니즘 중 하나라도 제거하면 성능이 크게 하락하여, 두 구성 요소의 필요성을 확인했습니다.
효율성: LG-Plug는 클러스터 기반 샘플링 전략 덕분에 훨씬 적은 LLM 토큰과 시간(Cora 기준 70초 vs 베이스라인 295초~5400초)을 소요하며 탁월한 효율성을 입증했습니다.
정성적 분석: 생성된 OOD 노출의 워드 클라우드 시각화를 통해, LG-Plug가 ID 카테고리와의 중복을 최소화하면서도 뚜렷하고 빈도가 높은 OOD 의미(예: "evolutionary", "theoretical")를 포착했음을 보여주었습니다. 반면 베이스라인들은 의미론적 변화나 ID 노이즈를 보였습니다.

의의 및 주장

본 논문은 TAG의 효과적인 OOD 탐지를 위해 토폴로지와 텍스트 모두 중요하다고 주장합니다. 저자들은 토폴로지가 구조적 맥락을 제공하는 반면, 심층적인 의미 이해가 OOD 노드를 구별하는 데 필수적이라고 논합니다. LG-Plug는 다음과 같이 토폴로지 기반 방식과 LLM 기반 방식 사이의 간극을 메웁니다:

클러스터링 기반 합의를 통해 신뢰할 수 있고 정보가 풍부한 OOD 사전을 생성함으로써 개별 노드 레이블링의 함정을 피합니다.
전체 아키텍처를 재학습하지 않고도 의미론적 감독(supervision)의 혜택을 받을 수 있도록 기존 토폴로지 기반 탐지기 생태계와 호환성을 유지합니다.
LLM 쿼리 비용을 그래프 크기와 분리하여 계산 효율적인 솔루션을 제공합니다.

저자들은 LG-Plug가 위협 인텔리전스나 생물 의학 연구와 같이 분포 변화가 빈번한 실세계 배포 환경에서 GNN을 더욱 안전하게 만드는 강력한 진전이라고 결론짓습니다.