The Role of Feature Interactions in Graph-based Tabular Deep Learning

이 논문은 그래프 기반 표본 딥러닝 (GTDL) 방법들이 예측 정확도만 추구하다 보니 실제 특징 간 상호작용을 무작위 수준으로만 모델링하며, 오히려 정확한 상호작용 구조를 반영할 때 예측 성능이 향상됨을 합성 데이터를 통해 입증하고, 이에 따라 GTDL 이 예측력 향상을 위해 그래프 구조의 정확한 모델링을 우선시해야 함을 주장합니다.

핵심

🍳 핵심 비유: "요리사 (AI) 와 레시피 (데이터의 관계)"

우리가 맛있는 요리를 하려면 재료가 어떻게 서로 어울리는지 아는 레시피가 필요합니다. 예를 들어, '소금'과 '후추'는 함께 쓰면 맛이 좋아지지만, '설탕'과 '소금'은 특정 요리에서는 어울리지 않을 수 있습니다.

이 논문에서 다루는 **그래프 기반 딥러닝 (GTDL)**은 바로 이 **레시피 (데이터 속 특징들 간의 관계)**를 자동으로 찾아내어 요리를 잘 하려는 최신 AI 기술입니다.

1. 문제점: "요리사는 레시피를 모르고 무작위로 섞는다?"

연구자들은 이 최신 AI 기술들이 정말로 **올바른 레시피 (진짜 관계)**를 찾아내는지 확인해 보았습니다.

• 기대: AI 가 "아, 소금과 후추는 서로 연결되어 있구나!"라고 정확히 배우고, 그 연결고리를 그래프 (지도) 로 그려낼 것이라고 생각했습니다.
• 현실 (연구 결과): 아니었습니다! AI 는 완전한 무작위처럼 행동했습니다.
  • 마치 요리사가 소금과 설탕을 무작위로 섞어서 "이게 레시피야!"라고 말하는 것과 같습니다.
  • AI 가 그려낸 '관계 지도'를 실제 정답과 비교해 보니, **동전 던지기 (50%)**만큼만 정확했습니다. 즉, AI 는 진짜 관계를 전혀 배우지 못했습니다.

왜 그럴까요?
AI 는 오직 **"맛 (예측 정확도)"**만 중요하게 생각했습니다. 레시피가 맞든 틀리든 상관없이, 결과물이 맛있기만 하면 된다고 생각한 것이죠. 그래서 AI 는 진짜 관계가 아닌, 우연히 잘 맞는 가짜 관계들 (잡음) 을 찾아내어 예측 점수는 높였지만, 그 '지도' 자체는 엉망이 되어버렸습니다.

2. 실험: "진짜 레시피를 알려주면 어떨까?"

연구자들은 한 가지 실험을 더 했습니다. AI 가 레시피를 스스로 찾는 대신, 진짜 레시피 (정답인 관계) 를 미리 알려주고 요리를 시켰습니다.

• 결과: 놀랍게도 요리 맛 (예측 정확도) 이 훨씬 더 좋아졌습니다!
• 이유: AI 가 엉뚱한 재료 (무관한 데이터) 를 섞지 않고, 진짜 중요한 재료들만 집중해서 처리했기 때문입니다.

이는 **"정확한 구조 (레시피) 를 아는 것이, 단순히 점수를 높이는 것보다 더 중요하다"**는 것을 의미합니다.

3. 결론 및 시사점: "지도가 없으면 길을 잃는다"

이 논문의 핵심 메시지는 다음과 같습니다:

1. 현재의 AI 는 '눈가림'을 하고 있습니다: 최신 기술들이 보여주는 '관계 분석'이나 '해석' 기능은 실제로는 신뢰할 수 없습니다. AI 가 그리는 지도는 진짜가 아니라, 점수를 맞추기 위해 만든 가짜 지도일 뿐입니다.
2. 구조가 성능을 결정합니다: 데이터의 진짜 관계 (그래프 구조) 를 정확히 반영할 때, AI 는 더 똑똑해지고 더 잘 예측합니다.
3. 미래의 방향: 앞으로의 AI 개발은 단순히 "점수만 높이는 것"에서 벗어나, **"데이터의 진짜 관계를 어떻게 정확히 파악하고 그릴 것인가"**에 집중해야 합니다.

🌟 한 줄 요약

"요리사 (AI) 가 레시피 (데이터 관계) 를 제대로 이해하지 못하면, 아무리 맛있게 요리해도 그 레시피는 쓰레기입니다. 진짜 레시피를 찾아내는 것이야말로 더 맛있는 요리를 만드는 비결입니다."

이 연구는 AI 가 단순히 숫자를 맞추는 기계가 아니라, 데이터의 진짜 구조를 이해하는 지능으로 발전해야 함을 강력하게 주장합니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 표형 데이터 (Tabular Data) 에서는 전통적인 트리 기반 머신러닝 (XGBoost, LightGBM 등) 이 여전히 딥러닝보다 우수한 성능을 보이는 경우가 많습니다. 최근 그래프 신경망 (GNN) 과 어텐션 (Attention) 메커니즘을 활용한 '그래프 기반 표형 딥러닝 (GTDL, Graph-based Tabular Deep Learning)' 방법론들이 등장하며, 특징 간의 복잡한 상호작용을 그래프 구조로 모델링하여 성능 향상을 꾀하고 있습니다.
• 문제점:
  • 기존 GTDL 방법론들은 예측 정확도 (Predictive Accuracy) 최적화에만 집중할 뿐, 모델이 학습한 그래프 구조 (특징 상호작용) 가 실제 데이터의 진실된 구조 (Ground Truth) 를 반영하는지 검증하지 않습니다.
  • 대부분의 연구는 실제 데이터셋의 특성 상호작용에 대한 'Ground Truth'가 존재하지 않기 때문에, 학습된 그래프를 정성적으로 해석하거나 시각화하는 데 그칩니다.
  • 이로 인해 모델이 학습한 어텐션 맵이나 인접 행렬 (Adjacency Matrix) 이 실제 특징 간의 인과관계나 의존성을 제대로 포착한 것인지, 아니면 단순히 예측을 위한 최적화의 부산물 (Optimization Artifacts) 에 불과한지 알 수 없습니다.
• 핵심 질문: GTDL 방법론들은 의미 있는 특징 상호작용을 정확히 학습하는가? 반대로, 예측 정확도만 극대화하려다 잘못된 상호작용 (Spurious Interactions) 을 학습하여 모델의 견고성과 설명 가능성을 해치고 있는 것은 아닌가?

2. 연구 방법론 (Methodology)

저자들은 GTDL 방법론의 구조 학습 능력을 정량적으로 평가하기 위해 새로운 평가 프레임워크를 제안했습니다.

• 합성 데이터셋 (Synthetic Datasets) 활용:
  • Ground Truth 그래프 구조를 알고 있는 합성 데이터를 생성하여 실험했습니다.
  • 다변량 정규분포 (MVN, Multivariate Normals): 조건부 독립성을 가진 가우스 그래프 모델 기반 데이터 생성.
  • 구조적 인과 모델 (SCM, Structural Causal Models): 비선형 상호작용을 포함하는 DAG(유방향 비순환 그래프) 기반 데이터 생성.
  • 두 가지 방식 모두 노드 (특징) 와 엣지 (상호작용) 의 구조가 명확히 정의된 데이터를 생성했습니다.
• 정량적 평가 지표:
  • 학습된 가중 인접 행렬 ($A_{pred}$) 과 실제 Ground Truth 이진 인접 행렬 ($A_{true}$) 을 비교합니다.
  • ROC AUC를 사용하여 모델이 실제 존재하는 엣지와 존재하지 않는 엣지를 얼마나 잘 구분하는지 측정합니다. (0.5 는 무작위 추측 수준)
• 실험 설정 (Ablation Study):
  • Fully Connected Graph: 기존 GTDL 방법론의 기본 설정으로, 모든 특징이 서로 연결된 상태에서 학습.
  • Pruned Graph (True Edges Only): Ground Truth 에 해당하는 엣지만 허용하고 나머지를 마스킹하여 학습. 이를 통해 '정확한 구조'를 알고 있을 때 예측 성능이 어떻게 변하는지 분석.
• 비교 대상 모델:
  • GTDL 모델: FT-Transformer, FiGNN, T2G-Former, INCE 등 (어텐션 기반 및 GNN 기반).
  • Baseline: 확률적 그래픽 모델 (PGM, BDgraph), XGBoost, TabPFN.

3. 주요 기여 및 결과 (Key Contributions & Results)

가. 특징 상호작용 학습 실패 (Failure to Learn Interactions)

• 결과: 모든 GTDL 모델 (FT-Transformer, FiGNN, T2G-Former, INCE 등) 은 합성 데이터셋에서 ROC AUC 가 약 0.5 수준을 보였습니다.
• 의미: 이는 모델이 학습한 그래프 구조가 실제 Ground Truth 와 무관하며, 무작위 추측 수준임을 의미합니다. 즉, 어텐션 메커니즘이나 메시지 패싱 (Message Passing) 은 표형 데이터의 특징 상호작용을 효과적으로 포착하지 못합니다.
• 비교: 확률적 그래픽 모델 (PGM, BDgraph) 은 선형 데이터 (MVN) 에서 높은 ROC AUC 를 보이며 정확한 구조를 학습했으나, 비선형 데이터 (SCM) 에서는 성능이 떨어졌습니다. 반면, 복잡한 비선형 관계를 학습할 수 있는 딥러닝 기반 GTDL 모델들은 구조 학습에 실패했습니다.

나. 구조적 정확성이 예측 성능에 미치는 영향 (Impact of Structural Fidelity)

• 실험: Ground Truth 그래프 구조만 허용하는 'Pruned' 설정으로 모델을 학습시켰을 때의 성능을 확인했습니다.
• 결과:
  • 예측 성능 향상: 대부분의 GTDL 모델에서 그래프를 실제 엣지만으로 제한했을 때 예측 성능 ($R^2$ 점수) 이 유의미하게 향상되었습니다.
  • 데이터 양의 영향: 학습 데이터가 적을수록 (소규모 데이터셋) 구조를 정확히 아는 것의 이점이 더 컸습니다. 데이터가 충분하면 모델이 암묵적으로 구조를 학습할 수 있지만, 데이터가 부족할 때는 올바른 구조적 편향 (Inductive Bias) 이 필수적입니다.
  • 통계적 유의성: 선형 혼합 효과 모델 (Linear Mixed-Effects Model) 분석을 통해 Pruned 설정의 성능 향상이 통계적으로 유의미함을 확인했습니다.

다. 모델 아키텍처별 차이

• Node-level vs Graph-level: 타겟 특징을 예측하는 방식을 '노드 레벨' (Target Token 사용) 로 하는 모델 (T2G-Former 등) 은 그래프 구조에 매우 민감하여 Pruned 설정 시 성능이 크게 향상되었습니다. 반면, '그래프 레벨' (전체 임베딩 집계) 로 처리하는 모델 (FiGNN 등) 은 구조의 영향을 덜 받았습니다.

4. 논문의 의의 및 결론 (Significance & Conclusion)

• 핵심 결론: 현재 GTDL 방법론들은 예측 정확도 최적화에만 집중하여 구조적 충실도 (Structural Fidelity) 를 희생하고 있습니다. 학습된 그래프 구조는 해석 (Interpretability) 목적으로 사용하기에 신뢰할 수 없으며, 이는 모델의 일반화 능력과 견고성에도 부정적인 영향을 미칩니다.
• 제언:
  1. 구조 학습의 우선순위: GTDL 연구는 예측 성능뿐만 아니라 그래프 구조를 정확하게 학습하는 능력을 평가 지표로 포함해야 합니다.
  2. 새로운 평가 프레임워크: Ground Truth 가 있는 합성 데이터셋과 ROC AUC 와 같은 정량적 지표를 사용하여 모델의 구조 학습 능력을 검증해야 합니다.
  3. 미래 방향: 단순한 엣지 존재 여부뿐만 아니라 상호작용의 함수적 형태 (Functional Form) 를 학습하는 연구, 더 복잡하고 큰 규모의 그래프 구조에 대한 연구, 그리고 시계열 및 관계형 데이터베이스로의 확장이 필요합니다.
• 종합적 시사점: 딥러닝 모델이 표형 데이터에서 진정한 강점을 발휘하려면, 데이터의 내재된 구조 (Inductive Bias) 를 정확히 반영할 수 있어야 합니다. 단순히 예측만 잘하는 것이 아니라, 올바른 구조를 학습하는 것이 궁극적으로 더 나은 예측 성능과 설명 가능성을 보장합니다.

이 논문은 그래프 기반 딥러닝이 표형 데이터에 적용될 때, "왜 구조를 학습하는가"에 대한 근본적인 질문을 던지며, 향후 연구 방향을 예측 성능 중심에서 구조적 정확성 (Structural Fidelity) 으로 전환할 것을 강력히 권고합니다.