기술 요약: 그래프는 다양한 데이터 모달리티에 걸친 기질 (Substrate)

1. 문제 제기

그래프 구조는 컴퓨터 비전 (장면 그래프), 자연어 처리 (이벤트 그래프), 화학 (분자 그래프), 그리고 알고리즘적 추론을 포함한 다양한 영역에서 관계적 정보를 표현하는 자연스러운 추상화를 제공합니다. 이러한 구조의 보편성에도 불구하고, 현재의 학습 시스템들은 일반적으로 그래프 표현을 **작업에 종속된 산물 (task-bound artifact)**로 취급합니다. 지배적인 패러다임에서 그래프 구조는 특정 목적 (예: 장면 그래프 생성 또는 이벤트 추출) 을 수행하기 위해 구축되고, 고립된 작업 파이프라인 내에서 최적화된 후 폐기됩니다.

이러한 고립은 두 가지 중대한 한계로 이어집니다:

1. 중복적인 재구성: 모달리티와 작업 전반에 걸쳐 반복되는 구조적 규칙성이 누적되는 대신, 매번 처음부터 반복적으로 재구성됩니다.
2. 표현 수준의 불일치: 그래프 구조가 작업별 데이터로 취급될 뿐, 지속되는 중간 상태로 간주되지 않습니다. 기존 다중 작업 학습 접근법들은 종종 모델 아키텍처나 매개변수를 공유하지만, 작업 전반에 걸쳐 지속되는 그래프 수준의 표현 상태를 확립하지는 못합니다. 결과적으로 한 설정에서 발견된 관계적 규칙성은 그래프 수준에서 누적되지 않고 작업별 공식에 국한된 채 남습니다.

본 논문은 그래프 구조가 각 작업마다 독립적으로 재구성되는 것이 아니라, 이질적인 학습 컨텍스트 전반에 걸쳐 생존하고 누적될 수 있는 **지속적인 중간 기질 (persistent intermediate substrate)**로 조직되어야 한다고 주장합니다.

2. 방법론: G-Substrate 프레임워크

"기질로서의 그래프"라는 관점을 실현하기 위해, 저자들은 이질적인 형태 (form heterogeneity) (도메인 간 구조적 차이) 와 이질적인 기능 (function heterogeneity) (학습에서 그래프가 수행하는 다양한 역할) 을 해결하도록 설계된 두 가지 상호 보완적 메커니즘을 기반으로 한 G-Substrate 프레임워크를 제안합니다.

2.1. 통합 구조 스키마 (이질적인 형태 해결)

텍스트에서 유도된 이벤트 그래프와 이미지에서 유도된 장면 그래프와 같이 서로 다른 모달리티의 그래프가 공유된 표현 공간에서 공존할 수 있도록 하기 위해, G-Substrate 은 통합된 그래프 상태 공간($\mathcal{G}_s$)을 도입합니다.

• 정의: 그래프는 엄격하게 구조적 삼중항의 집합 $G = \{(u, r, v)\}$으로 정의되며, 여기서 $u$와 $v$는 개체 (entities) 이고 $r$은 유형화된 간선 (typed edge) 입니다.
• 제약: 관계 레이블과 개체 정체성은 보존되지만, 작업별 프레임 (손실 함수, 실행 논리 등) 은 제외됩니다. 이질적인 작업의 모든 그래프는 일관된 노드 식별자, 간선 유형, 연결 규칙을 공유하는 이 공통 구조 공간으로 매핑됩니다.
• 목표: 이는 서로 다른 도메인의 구조적으로 유사한 패턴 (예: 허브 중심 모티프) 이 분리된 작업별 영역이 아닌 공통 구조 영역으로 정렬되어 비교 가능하고 재사용 가능하도록 보장합니다.

2.2. 교차 역할 기반 학습 (이질적인 기능 해결)

통합된 스키마만으로는 그래프가 다양한 기능적 역할 하에서 의미 있게 활용된다는 보장이 없습니다. G-Substrate 은 학습 과정에서 동일한 그래프를 여러 기능적 역할에 노출시키기 위해 **교차 역할 기반 학습 (interleaved role-based training)**을 도입합니다.

• 역할 기능: 작업들은 두 가지 역할로 분류됩니다:
  • 생성 (GENERATE): 그래프 구조를 구축하거나 정제하는 작업 (예: 장면 그래프 생성, 이벤트 추출).
  • 이해 (UNDERSTAND): 추론, 예측, 또는 평가를 위해 그래프 구조를 소비하는 작업 (예: 그래프 알고리즘적 추론, 일관성 검사).
• 메커니즘: 학습은 작업 - 역할 인스턴스화의 시퀀스로 조직됩니다. 생성 작업에 의해 생성된 그래프는 즉시 이해 작업의 입력으로 재사용됩니다 (그 역도 궤적 내에서 동일하게 적용됨).
• 효과: 이는 **교차 역할 감독 (cross-role supervision)**을 생성합니다. 단일 역할 하에서 최적화된 그래프는 과도하게 특화되는 경향이 있습니다. 동일한 그래프가 생성과 이해 역할 모두에서 유효하도록 강제함으로써, 프레임워크는 구조적 일관성을 유도합니다. 역할 전반에 걸쳐 구조적으로 일관된 그래프는 일관된 감독을 받지만, 단일 작업 유형에 과도하게 특화된 그래프는 일관되지 않은 신호를 받아 패널티를 받습니다.

3. 주요 기여

1. 표현 중심 관점: 본 논문은 그래프 구조를 작업별 출력/입력에서, 데이터 모달리티와 기능적 역할 전반에 걸쳐 학습을 조정하는 지속적인 중간 기질로 바라보는 관점을 전환합니다.
2. G-Substrate 프레임워크: 통합된 구조 스키마와 교차 역할 기반 학습을 결합한 새로운 프레임워크입니다. 이 설계는 그래프 형태와 기능의 이질성을 명시적으로 해결하여 구조적 규칙성의 누적을 가능하게 합니다.
3. 실증적 검증: 저자들은 공유된 기질 주변으로 학습을 조직하는 것이 작업 고립 학습 및 단순한 다중 작업 학습보다 일관된 개선을 가져온다고 입증했으며, 특히 관계적 추론이 필요한 작업에서 두드러졌습니다.

4. 실험 결과

이 프레임워크는 네 가지 다양한 학습 환경에서 평가되었습니다:

• 그래프 알고리즘적 추론 (GAR): 속성이 부여된 그래프에서 알고리즘 (연결성, 최단 경로 등) 의 출력을 예측.
• 분자 그래프 기술 (MGD): 분자 그래프에서 자연어 설명 생성.
• 장면 그래프 생성 (SGG): 이미지에서 객체 - 관계 그래프 예측.
• 이벤트 관계 추출 (ERE): 텍스트에서 이벤트 - 관계 그래프 구축.

주요 발견:

• 성능 향상: G-Substrate 은 작업 고립 베이스라인 및 단순한 다중 작업 학습 방법보다 일관되게 우수한 성과를 보였습니다. 최단 경로 (SP) 정확도 (41.46 에서 48.59 로 상승) 및 이벤트 관계 추출 F1 점수에서 두드러진 개선이 관찰되었습니다.
• 메커니즘의 시너지:
  • 통합 스키마 단독으로는 다중 작업 학습과 결합되었을 때만 이점을 제공했으며, 단일 작업 성능은 개선하지 못했습니다.
  • 교차 학습 단독 (통합 스키마 없이) 은 제한적이고 불안정한 개선을 제공했습니다.
  • 두 메커니즘의 결합은 가장 강력한 성과를 거두었으며, 이는 구조적 정렬이 역할 기반 재사용과 결합되어야 최대의 이점을 얻을 수 있음을 시사합니다.
• 강건성: 이 프레임워크는 노이즈가 있는 그래프 추출 (최대 20% 간선 손상) 하에서도 우아하게 저하되었으며, 역할 전반에 걸쳐 강화된 패턴만 유지되는 구조적 정규화제 역할을 했습니다.
• 교차 도메인 전이: 텍스트의 이벤트 그래프로 학습한 것이 대상 도메인 감독 없이도 비전 (장면 그래프 생성) 의 성능을 향상시켜, 구조적 규칙성이 모달리티 간에 전이될 수 있음을 입증했습니다.

5. 중요성 및 주장

본 논문은 현재 그래프 기반 다중 작업 학습의 주요 병목 현상이 최적화 수준이 아닌 표현 (representational) 수준에 있다고 주장합니다. 그래프 구조를 재사용 가능한 기질로 취급함으로써, 이 프레임워크는 구조적 지식이 고립되어 재발견되는 대신 작업 전반에 걸쳐 누적되고 전이되도록 합니다.

저자들은 그들의 접근 방식이 확장이나 아키텍처 통합에 대한 기존 노력과 **직교 (orthogonal)**한다고 강조합니다. 다른 연구들이 매개변수 공유나 작업 범위 확장에 초점을 맞추는 반면, G-Substrate 은 중간 그래프 상태가 어떻게 조직되어 구조적으로 허용 가능하고 재사용 가능하게 유지되는지에 초점을 맞춥니다. 결과는 구조적 정렬이 역할 기반 학습과 결합될 때 가장 견고한 그래프 표현이 나타난다는 것을 시사하며, 이질적인 도메인 전반에 걸쳐 반복되는 구조적 패턴을 시스템이 활용할 수 있게 합니다.

본 논문은 지속 가능한 그래프 표현이 구조적 재사용과 성능 향상의 핵심 동인이며, 구조화된 정보를 위한 더 데이터 효율적이고 일반화 가능한 AI 시스템으로 가는 길을 제공한다고 결론지었습니다.