기술 요약: 동질형 및 다중 관계형 변형을 위한 그래프 회귀 벤치마크 데이터셋

문제 제기

그래프 신경망 (GNN) 은 생물학, 소셜 네트워크, 추천 시스템 등 다양한 분야에서 노드 및 그래프 분류 작업에서 상당한 성과를 거두었습니다. 그러나 그래프 회귀는 상대적으로 덜 탐구되었으며, 공개된 벤치마크는 주로 화학 및 신약 개발 분야에 치우친 분자 그래프와 인용 네트워크에 편중되어 있습니다. 이러한 다양성 부족은 소프트웨어 공학, 금융, 교통 등 다른 중요한 분야에서 회귀 작업을 위한 GNN 의 개발 및 평가를 제한합니다. 구체적으로, 구조적 표현 선택 (동질형 vs. 다중 관계형) 이 그래프 회귀에서 모델 행동에 어떻게 영향을 미치는지 연구자들이 탐구할 수 있는 데이터셋이 부족합니다.

방법론

저자들은 소프트웨어 성능 예측, 특히 자바 소스 코드의 실행 시간 추정에 초점을 맞춘 새로운 그래프 회귀 데이터셋인 RelSC를 소개합니다. 방법론에는 소스 코드를 구문 구조와 의미적 실행 흐름을 모두 포착하는 그래프 표현으로 변환하는 과정이 포함됩니다.

데이터 수집

데이터셋은 복잡성과 환경의 다양성을 보장하기 위해 두 가지 소스로 구성됩니다:

1. OSSBuild: SystemDS, H2, Dubbo, RDF4J 등 네 가지 오픈소스 프로젝트의 지속적 통합 (CI) 시스템에서 추출한 실행 시간.
2. HadoopTests: 통제된 가상 환경에서 측정된 Apache Hadoop 프레임워크의 2,895 개 단위 테스트 실행 시간.
   목표 값 (실행 시간) 은 서로 다른 규모의 데이터셋 간 비교 가능성을 보장하기 위해 $[0, 1]$ 범위로 정규화됩니다.

그래프 구성

핵심 기여는 추상 구문 트리 (AST) 에서 두 가지 보완적인 그래프 변형을 구축하는 데 있습니다:

1. RelSC-H (동질형):

   • javalang 을 통해 파싱된 AST 로 시작합니다.
   • 트리를 방향성 그래프로 변환합니다.
   • 증강: 실행 의미론을 포착하기 위해 제어 흐름 그래프 (CFG) 와 데이터 흐름 그래프 (DFG) 의 간선을 통합합니다. 여기에는 If Flow, While Execution Flow, Next Use, Next Statement Flow와 같은 11 가지 추가 간선 유형이 포함됩니다.
   • 특징: 노드는 72 가지 AST 노드 유형을 나타내는 원-핫 벡터로 인코딩됩니다. 노드 특징은 관계적 맥락을 포착하기 위해 나가는 간선 유형의 합산된 원-핫 인코딩과 연결됩니다.

2. RelSC-M (다중 관계형):

   • RelSC-H 를 기반으로 하되, 72 가지 AST 노드 유형을 7 가지 의미 범주 (선언, 데이터 유형, 제어 흐름, 연산, 구조적 요소, 예외/오류, 기타) 로 분류합니다.
   • 구조: 이러한 범주 간의 특정 관계에 의해 간선이 정의되는 다중 관계형 그래프를 구축하여 최대 49 가지의 서로 다른 관계 유형을 생성합니다.
   • 특징: RelSC-H 와 유사하지만 서로 다른 관계 유형을 구별하여 처리하기 위해 이질적 메시지 전달을 활용합니다.

주요 기여

1. 새로운 벤치마크: 실행 시간을 연속적인 목표 변수로 제공하는 소프트웨어 공학 분야의 그래프 회귀를 위한 최초의 대규모 벤치마크인 RelSC 의 도입.
2. 이중 변형: RelSC-H(동질형, 풍부한 노드 특징) 와 RelSC-M(다중 관계형, 원래 의미 관계 보존) 을 모두 출시하여 구조적 표현이 회귀 성능에 미치는 영향을 직접 비교할 수 있도록 함.
3. 의미 증강: 이전 작업들이 구조적 속성에만 의존했던 것과 달리, 이 접근법은 의미 노드 특징과 흐름 기반 간선 (CFG/DFG) 을 통합하여 코드 실행에 대한 더 표현력 있는 표현을 생성합니다.
4. 공개 배포: 데이터셋, 그래프 객체 (PyTorch Geometric 형식), 그리고 그래프 구성 및 모델 학습을 위한 코드가 공개적으로 제공됩니다.

실험 결과

저자들은 두 변형 모두에 대해 다양한 아키텍처를 평가했습니다:

• 베이스라인: 소스 코드 모델 (CodeBERT, Code2Vec) 과 표준 GNN(GCN, ChebConv, GIN, GraphSAGE, PNA).
• 다중 관계형 모델: RelSC-M 을 위한 이질적 GNN(HeteroSAGE, HeteroGAT).

주요 발견:

• GNN 우위: GNN 기반 모델은 모든 데이터셋에서 소스 코드 기반 (CodeBERT) 및 AST 기반 (Code2Vec) 모델을 일관되게 능가했습니다.
• 최고 성능자:
  • RelSC-H에서 PNA(Principal Neighborhood Aggregation) 가 모든 데이터셋에서 가장 낮은 평균 절대 오차 (MAE) 를 달성했습니다.
  • RelSC-M에서 HeteroGAT은 일반적으로 HeteroSAGE 보다 우수했으나, 성능은 데이터셋 크기와 복잡성에 따라 크게 변동되었습니다.
• 표현 영향: 다중 관계형 구조가 더 풍부한 정보를 제공한다는 직관과 달리, RelSC-H로 훈련된 모델이 종종 RelSC-M의 모델보다 우수한 성능을 보였습니다. 이는 회귀를 위해 다중 관계형 데이터를 효과적으로 활용하는 것이 여전히 열린 과제로 남아 있음을 시사합니다.
• 절제 연구: 일반 AST 에 흐름 간선 (CFG/DFG) 을 추가하면 MAE 가 약 0.07~0.09 만큼 크게 감소하여 실행 시간 예측에서 의미 증강의 결정적 역할을 확인했습니다.
• 한계: 모든 모델은 이상치와 높은 분산 목표 값, 특히 Hadoop 데이터셋에서 어려움을 겪었으며, 여기서 예측은 종종 0 근처에 군집화되어 높은 실행 시간을 정확하게 추정하지 못했습니다.

중요성 및 주장

이 논문은 RelSC 가 그래프 회귀를 위한 다양한 벤치마크의 가용성에서 중요한 격차를 해소한다고 주장합니다. 화학 중심의 지평을 넘어 소프트웨어 공학에서 GNN 의 탐구를 가능하게 함으로써, 코드 최적화, 리팩토링, CI/CD 성능 회귀 감지에 높은 실용적 관련성을 가진 분야에서 이를 가능하게 합니다.

저자들은 RelSC 를 새로운 아키텍처 제안이 아니라 기존 및 미래 모델을 평가하기 위한 엄격한 테스트베드로 위치시킵니다. 결과는 이 작업에 대해 GNN 이 비그래프 방법보다 우수하지만, 구조적 표현의 구체적인 선택 (동질형 vs. 다중 관계형) 이 성능에 크게 영향을 미친다는 점을 강조합니다. 논문은 제안된 데이터셋이 덜 탐구된 분야에서 그래프 기반 학습을 발전시키는 귀중한 자원이 된다고 결론지으며, 동시에 현재 모델들이 실제 세계 소프트웨어 실행 시간의 복잡성과 변동성을 처리하는 데 여전히 어려움을 겪고 있음을 밝힙니다.