🤖 machine learning

LLM Features Can Hurt GNNs: Concatenation Interference on Homophilous Graph Benchmarks

이 논문은 단순히 LLM이 생성한 노드 특징을 GNN 입력에 결합하는 것이 동종성(homophily) 벤치마크에서 성능을 체계적으로 저하시킬 수 있음을 밝히며, 이러한 현상은 그래프의 동종성이 아니라 LLM 자체의 판별 능력에 의해 유발된다는 점을 지적하고, 이러한 결합이 언제 해로울지를 예측하기 위한 판별 임계값(discriminability threshold)을 제안한다.

원저자: Zhongyuan Wang, Pratyusha Vemuri

게시일 2026-06-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhongyuan Wang, Pratyusha Vemuri

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: "추가적인 도움"이 오히려 독이 될 때

당신이 아주 적은 단서(레이블이 지정된 예시의 수가 매우 적음)만을 가지고 어려운 퍼즐(그래프 상의 노드 분류)을 풀려고 노력하고 있다고 상상해 보세요. 당신에게는 당신이 준 단서들(원래의 특징/feature)을 사용하여 문제를 꽤 잘 풀 수 있는 똑똑한 조수(그래프 신경망, 즉 GNN)가 있습니다.

최근 많은 사람들이 팀에 "초스마트" 컨설턴트(GPT-4와 같은 LLM)를 추가하기 시작했습니다. 그 생각은 이랬습니다: "우리가 원래 단서 바로 옆에 컨설턴트의 노트를 붙여넣기만 하면, 팀이 훨씬 더 잘하게 될 거야."

이 논문은 말합니다: 어떤 경우에는 그것이 사실이지만, 많은 경우에는 재앙이 됩니다.

저자들은 만약 우리가 팀에게 나쁜 부분을 무시하는 법을 가르치지 않고, 단순히 LLM의 노트를 원래의 단서 옆에 **붙여넣기(paste)**만 한다면, 팀이 퍼즐을 푸는 능력이 실제로 더 나빠질 것이라고 발견했습니다. 어떤 경우에는 정확도가 너무 많이 떨어져서, 마치 컨설턴트가 원래의 단서 위로 헛소리를 소리 지르고 있어 모두를 혼란스럽게 만드는 것과 같은 상황이 발생합니다.

비유: 과밀한 교실

그래프 신경망을 시험을 치르는 학생이라고 생각해 보세요.

원래의 특징 (Forig): 이것은 학생이 공부한 교과서 노트입니다. 명확하고 도움이 됩니다.
LLM 특징 (FLLM): 이것은 AI가 생성한 384페이지 분량의 새로운 노트 뭉치입니다.
문제점: 학생은 짧은 시험(레이블이 적은 작은 데이터셋)을 위해 공부할 시간밖에 없습니다.

만약 당신이 학생에게 교과서와 함께 그 거대한 384페이지짜리 AI 노트 뭉치를 건네주며 "그냥 다 읽고 답을 적으렴"이라고 말한다면, 학생은 압도당하게 됩니다. 학생은 그 추가적인 노이즈를 처리하는 데 너무 많은 시간을 쓰느라 교과서를 잊어버리고 맙니다. 그리고 시험 점수는 곤두박질칩니다.

이 논문은 유명한 "동종성(homophilous)" 데이터셋(도서관의 생물학 책들이 한 선반에 모여 있는 것처럼 유사한 것들이 함께 그룹화되어 있는 데이터셋)에서 이러한 AI 노트를 추가했을 때, PubMed 데이터셋에서 점수가 17점이나 떨어졌다는 것을 발견했습니다. 이는 엄청난 실패입니다.

왜 이런 일이 일어날까요? ("노이즈" vs "신호" 법칙)

저자들은 AI 노트가 언제 도움이 되고 언제 해가 되는지를 예측할 수 있는 간단한 규칙을 발견했습니다. 그들은 이를 $\Delta_{sig}$ (LLM 단독 판별력)라고 부릅니다.

규칙: 만약 AI 노트가 그 자체로 명확하고 뚜렷하다면 (높은 신호), 그것을 추가하는 것이 도움이 됩니다.
규칙: 만약 AI 노트가 그 자체로 모호하거나 흐릿하다면 (낮은 신호), 그것을 추가하는 것은 해가 됩니다.

비유:

높은 신호 (도움이 됨): AI 노트가 명확하게 하이라이트 된 지도라고 상상해 보세요. 이 지도를 교과서에 추가하면 답을 더 빨리 찾는 데 도움이 됩니다.
낮은 신호 (해로움): AI 노트가 마치 지도처럼 보일 수도 있지만 대부분 그냥 무작위 선들인, 흐릿하고 낙서된 엉망진창인 상태라고 상상해 보세요. 만약 당신이 학생에게 교과서를 읽는 동안 이 흐릿한 엉망진창을 억지로 보게 한다면, 학생은 혼란에 빠지고 실수를 저지르게 됩니다.

저자들은 PubMed와 Cora 같은 데이터셋에서 AI 노트가 "흐릿했다"(낮은 신호)는 것을 발견했습니다. 이를 붙여넣었을 때 모델을 혼란스럽게 만들었습니다. 하지만 WikiCS 같은 데이터셋에서는 AI 노트가 "명확했다"(높은 신호)이며, 모델을 더 똑똑하게 만들었습니다.

"차원의 저주"에 대하여는?

당신은 이렇게 생각할 수도 있습니다. "혹시 모델이 처리해야 할 숫자(차원)가 너무 많아서 혼란스러워진 것 아닐까?"

저자들은 이를 테스트했습니다. 그들은 AI 노트를 다음으로 대체했습니다:

순수 무작위 노이즈: (라디오의 잡음 같은 것).
동일 출처의 중복성: (교과서 노트를 다시 한 번 복사한 것).

결과:

순수 무작위 노이즈는 AI 노트보다 두 배나 더 많이 모델에 해를 끼쳤습니다.
이는 AI 노트가 (어쨌든) 유용한 정보(순수 노이즈보다는 나은 정보)를 담고 있었다는 것을 증명합니다.
하지만, 그 유용한 정보는 적은 학습 데이터로 너무 많은 숫자를 처리하려 할 때 발생하는 혼란을 극복하기에는 충분하지 않았습니다. 추가적인 노이즈로 인한 "비용"이 추가 정보의 "이득"보다 여전히 높았던 것입니다.

해결책: "볼륨 조절기"

만약 당신이 반드시 AI 노트를 사용해야 한다면 (예를 들어 상사가 요구한다면), 어떻게 문제를 해결할 수 있을까요?

저자들은 몇 가지 "저렴한 해결책"을 시도했습니다:

레이어 정규화 (Layer Normalization): 노트를 매끄럽게 만들려고 시도했습니다. 결과: 상황을 더 악화시켰습니다.
차원 제거 (Dropping Dimensions): 노트의 절반을 버렸습니다. 결과: 조금 도움이 되었지만, 충분하지는 않았습니다.
스칼라 게이트 (The Scalar Gate, 볼륨 조절기): AI 노트의 말을 얼마나 들을지 학습하는 간단한 스위치입니다.

승자: "볼륨 조절기"가 가장 효과적이었습니다. 이 장치는 노트가 흐릿할 때 AI 노트의 볼륨을 거의 제로에 가깝게(약 10% 볼륨) 낮추는 법을 배웠습니다.

이를 통해 손실된 정확도의 **89%**를 회복했습니다.
하지만 여기서 핵심은: 가장 좋은 해결책은 AI 노트를 아예 삭제하고 원래의 교과서만 고수하는 것이었습니다. "볼륨 조절기"는 어떤 이유로든 시스템에 AI 노트를 반드시 유지해야만 하는 상황에서만 유용합니다.

연구 결과 요약

그냥 붙여넣지 마세요: 그래프 특징 옆에 LLM 특징을 단순히 붙여넣는 것은 작은 데이터셋에서 종종 성능을 떨어뜨립니다.
먼저 신호를 확인하세요: 만약 LLM 특징이 그 자체로 유익하지 않다면, 그것을 추가하지 마세요.
"작은 데이터"의 함정: 이 문제는 레이블이 있는 예시가 매우 적을 때(연구에서 사용되는 표준 벤치마크처럼) 가장 심각합니다. 데이터 양이 방대해지면 이 문제는 사라집니다.
해결책: 만약 꼭 사용해야 한다면, "게이트"를 사용하여 내용이 좋지 않을 때 소리를 줄이세요. 하지만 솔직히 말해서, 그냥 빼버리는 것이 더 나을 때가 많습니다.

결론: 이 논문은 LLM이 그래프에 나쁘다고 말하는 것이 아닙니다. 어떻게 추가하느냐가 중요하다는 것입니다. 단순히 결합(concatenation)하는 "무차별적인" 방식은 흔히 모델을 혼란스럽게 만들어 오히려 바보로 만들 수 있습니다. 다른 성공적인 논문들에서 사용하는 것과 같은 더 스마트한 통합 방식(joint training methods)이 필요하며, 그렇지 않으면 AI를 더 멍청하게 만들 위험이 있습니다.

기술 요약: LLM 기능이 GNN에 해를 끼칠 수 있다

문제 정의

최근 문헌들은 대규모 언어 모델(LLM)이 생성한 노드 특징을 그래프 신경망(GNN)에 통합하는 것이 표준 벤치마크(예: TAPE, GLEM)에서 정확도를 향상시킨다고 널리 보고하고 있으나, 본 논문은 이와 대조되는 실패 사례를 식별한다. 구체적으로, 공동 학습(joint training), 증류(distillation), 또는 프롬프트 컨디셔닝(prompt-conditioning) 없이 **순수 입력 결합(pure input concatenation)**을 통해 LLM 특징을 도입할 경우, 엔드 투 엔드(end-to-end) LLM 파이프라인이 일반적으로 성공하는 동종성(homophily) 벤치마크에서 성능이 체계적으로 저하될 수 있음을 보여준다.

저자들은 특정 조건(특히 소표본, 고차원 설정) 하에서 LLM 특징을 추가하는 것이 신호가 아닌 간섭의 원천으로 작용하여 상당한 정확도 하락을 초래함을 입증하기 위해 "순수 결합" 하위 단계를 분리하여 분석한다.

방법론

본 연구는 LLM 특징의 효과를 격리하기 위해 9개의 노드 분류 데이터셋(동종성 수준 $h \in [0.05, 0.81]$ 를 포괄)에 걸쳐 엄격한 실험 설계를 적용한다.

실험 설정:
- 특징(Features): 기존 특징( $F_{orig}$ , 예: BoW, Word2Vec)에 LLM 생성 특징( $F_{LLM}$ , SBERT로 인코딩된 GPT-4o-mini TAPE 설명)을 결합한다.
- 백본(Backbones): 구조적 의존성을 테스트하기 위해 MLP 백본(주요)과 GCN/GCNII/GAT 백본(보조)을 활용한다.
- 분할(Splits): 주요 결과는 Planetoid 공용 분할(저라벨 레짐: 60–140개 훈련 라벨)을 사용하며, 레짐 의존성을 검증하기 위해 무작위 분할을 사용한다.
- 지표: 핵심 지표는 $F_{orig}$ 단독 모델과 $F_{orig} \parallel F_{LLM}$ 모델 사이의 테스트 정확도 차이인 $\Delta_{concat}$ 이다.
분석 프레임워크:
- 직접 대조(Direct Contrast): 간섭 효과가 희석되는 것을 방지하기 위해 특정 집합(예: $\{F_{orig}, F_{LLM}\}$ 대 $\{F_{orig}\}$ )을 비교한다.
- 샤플리 분해(Shapley Decomposition): 평균화가 특정 실패 모드를 가릴 수 있음을 인지하며, 한계 기여도를 속성하기 위해 12개의 유효한 집합에 대해 4요소 분해(구조, $F_{orig}$ , $F_{LLM}$ , 깊이)를 수행한다.
- 절제 연구(Ablation Studies): 차원의 페널티, 가중치 감쇠(weight decay) 아티팩트, 정보 함유량 효과를 구분하기 위해 $F_{LLM}$ 을 0으로 교체하거나, $F_{orig}$ 의 PCA 투영 또는 가우시안 노이즈로 대체하는 통제된 실험을 수행한다.
- 스케일링 분석(Scaling Analysis): 결합 비용과 특징 차원 대비 샘플 수의 비율( $\sqrt{d_l/n}$ ) 간의 관계에 대해 멱법칙(power-law) 프로파일을 피팅한다.

주요 기여 및 발견

F1: 간섭의 레짐(The Regime of Interference)

저라벨, 고차원 레짐(특히 Planetoid 공용 분할)에서 LLM 특징의 순수 결합은 성능을 저하시킨다.

관찰: PubMed의 경우, LLM 특징을 추가하면 MLP 정확도가 $-17.0 \pm 0.3$ 퍼센티지 포인트(pp) 하락한다. Cora는 $-4.3 \pm 0.6$ pp 하락한다. CiteSeer는 노이즈 범위 내에서 미미한 하락을 보인다.
메커니즘: 이는 일반적인 "차원의 저주"가 아니다. 절제 연구에 따르면 순수 가우시안 노이즈는 $-37.3$ pp 하락을 일으키는 반면, 실제 LLM 특징은 $-17.0$ pp 하락을 일으킨다. 즉, LLM 특징은 순수 노이즈 대비 약 20 pp의 "콘텐츠 구제(content rescue)"를 제공하지만, 결과적으로는 소표본 레짐에서의 과적합으로 인해 상당한 페널티가 남는다.
레짐 의존성: 더 큰 무작위 분할(50/25/25)을 사용할 때 하락 폭이 $\le 1.2$ pp로 압축되는데, 이는 문제가 본질적인 콘텐츠 결함이 아니라 소표본 과적합에 의해 주도됨을 확인시켜 준다.

F2: LLM 전용 판별력을 통한 예측 임계값

본 논문은 결합 성공 여부를 예측하는 변수로 $\Delta_{sig}$ (LLM 특징만으로 학습된 MLP와 무작위 노이즈 간의 정확도 차이)를 제안한다.

임계값 규칙: 부트스트랩으로 도출된 변화점 $\tau = 13.8$ $τ = 13.8$ pp가 레짐을 구분한다.
- 만약 $\Delta_{sig} \le \tau$ 이면: 결합 비용이 비양수이다 (성능 저하 가능성 높음).
- 만약 $\Delta_{sig} > \tau$ 이면: 결합 비용이 양수이다 (성능 향상 가능성 높음).
성능: 이 규칙은 9개 중 7개의 데이터셋을 정확히 분류한다.
동종성과의 비교: 동종성( $h$ )은 예측력이 매우 낮지만( $r^2 = 0.06$ ), $\Delta_{sig}$ 는 훨씬 더 높은 상관관계를 보인다( $r^2 = 0.38$ ).

F3: 메커니즘 격리

저자들은 PubMed에 대한 절제 연구를 통해 대안 가설들을 배제한다.

차원(Dimensionality): LLM 특징을 동일 차원의 0으로 교체했을 때 성능 저하가 없었으므로( $+0.1$ pp), 단순한 차원 불일치는 아니다.
자기 정보량(Self-Information): $F_{orig}$ 의 PCA로 교체했을 때 경미한 간섭($-2.3$ pp)만 발생했다.
규제화(Regularization): 가중치 감쇠를 절반으로 줄여도 하락폭에 변화가 없었으므로, 가중치 감위 아티팩트는 아니다.
결론: $-17$ pp의 하락은 LLM 특징의 정보적 콘텐츠가 유한한 샘플 제약과 상호작용하며 발생하는 특수한 현상이다.

F4: 샤플리 분해 맥락

직접 결합은 부정적인 효과를 보이지만, 4요소 샤플리 분해를 보면 $F_{LLM}$ 은 이종성(heterophilous) 데이터셋에서 양(+)의 총체적 기여를 한다. 이는 이전 벤치마크에서 보고된 총체적 "성공"이 순수 결합의 비용을 완화하는 공동 학습 또는 선택 모듈에 의존하고 있음을 강조한다.

F5: 스케일링 법칙

결합 비용은 특징 차원 대비 훈련 라벨의 비율에 따라 다음과 같은 멱법칙 스케일링을 따른다:
$|\Delta_{concat}| \propto \left(\sqrt{\frac{d_l}{n}}\right)^{1.31}$
이 프로파일( $r^2 = 0.97$ )은 $n=60$ 일 때의 $-17$ pp 하락을 설명하며, $n$ 이 증가함에 따라(예: $n \approx 10^4$ 에서 $<1$ pp로 감소) 비용이 어떻게 완화되는지 예측한다.

완화 전략

본 논문은 저- $\Delta_{sig}$ 레짐을 위한 "저렴한 해결책"을 평가한다.

$F_{LLM}$ 제거: 가장 효과적인 솔루션이다. LLM 채널을 완전히 제거하는 것이 베이스라인 정확도( $72.1\%$ )를 회복하며, 모든 학습된 해결책보다 엄격하게 우월하다.
학습 가능한 스칼라 게이트(Learnable Scalar Gate): $F_{LLM}$ $F_{LL M}$ 에 적용되는 학습 가능한 스칼라 $g$ $g$ (0으로 초기화)는 격차의 **89%**를 회복한다. 그러나 여전히 "제거" 베이스라인보다 약 1.8 pp 낮다 ( $p \approx 0.008$ $p \approx 0.008$ ).
- 권장 사항: 다운스트림 파이프라인이 구조적으로 LLM 채널의 존재를 요구하는 경우(예: 공유 멀티태스크 입력)에만 게이트를 사용하라. 그렇지 않다면 채널을 제거하는 것이 더 우수하다.

의의 및 주장

본 논문은 LLM 특징이 보편적으로 해롭다고 주장하는 것이 아니다. 대신, 가장 단순한 통합 방식(순수 결합)이 역효과를 내는 특정 레짐을 규명한다.

기존 연구와의 조화: 본 연구는 이득을 보고하는 종합 벤치마크(예: Wu et al. [5])와 모순되지 않는다. 그러한 이득은 순수 결합에서 관찰되는 간섭을 방지하는 데 필요한 귀납적 편향(inductive bias)을 제공하는 공동 학습, 변분 EM, 또는 게이트 퓨전 모듈(TAPE, GLEM에서 확인됨) 덕분이다.
실무적 지침:
- 실무자는 LLM 도입 전 $F_{orig}$ 단독 모델과 $F_{orig} \parallel F_{LLM}$ 모델을 A/B 테스트해야 한다.
- $\Delta_{sig}$ 는 정밀한 사전 필터라기보다는 해당 레지임을 해석하는 렌즈 역할을 한다(측정에 A/B 테스트와 유사한 계산량이 필요하기 때문).
- 저- $\Delta_{sig}$ , 저라벨 레짐에서는 LLM 특징을 제거하는 "사소한 해결책"이 종종 최적의 전략이다.

본 논문은 "부호 반전(sign flip)"이 도움이 되는 상태에서 해로운 상태로 변하는 원인이 소표본 설정에서의 순수 결합이라는 특정 설계 선택에 의해 주도된다고 결론짓는다. 즉, LLM 강화 GNN의 총체적 성공은 이러한 특정 간섭을 완화하는 더 정교한 통합 스캐폴딩(scaffolding)에 달려 있다.