기술 요약: AlignG – 프로토타입 피드백을 통한 컨텍스트 조건부 술어 의미 학습

1. 문제 제기

장면 그래프 생성 (Scene Graph Generation, SGG) 은 이미지를 객체와 그 의미론적 관계로 구성된 구조화된 그래프로 표현하는 것을 목표로 합니다. 이 분야의 근본적인 과제는 **다의적 술어 (polysemous predicates)**를 모델링하는 것이며, 여기서 레이블의 의미 (예: "on", "riding") 는 구체적인 시각적 컨텍스트에 따라 변화합니다. 예를 들어, 미끄러지지 않고 서 있는 사람은 스키 위에 "서 있는 (standing on)" 상태이지만, 경사면을 내려가는 사람은 스키를 "타고 (riding)" 있는 상태입니다. 이는 시각적 외관이 유사함에도 불구하고 다른 의미를 갖습니다.

기존 접근법들은 이를 다음과 같이 해결하려 시도했습니다:

• 정적 프로토타입 (Static Prototypes): 각 술어에 단일 고정 프로토타입을 할당합니다 (예: PE-Net).
• 다중 프로토타입 분해 (Multi-Prototype Decomposition): 술어를 여러 정적 서브-프로토타입으로 분할합니다 (예: C-SGG).
• 검색/외부 지식: 의미 분해를 위해 외부 예시나 대규모 언어 모델 (LLM) 을 사용합니다.

그러나 이러한 방법들은 술어 표현이 정적 (static) 으로 유지된다는 치명적인 한계를 겪습니다. 추론 중에 이미지별 증거를 반영하여 의미를 재구성할 수 없습니다. 고정된 앵커는 컨텍스트의 뉘앙스에 적응하지 못하여, 시각적 특징만으로는 공간적 접촉과 기능적 사용을 구분하기 어려운 모호한 장면에서 체계적인 혼란을 초래합니다.

2. 방법론: AlignG

저자들은 글로벌 술어 의미와 이미지별 관계적 컨텍스트를 연결하는 프로토타입 피드백 학습 프레임워크인 AlignG를 제안합니다. 프로토타입을 고정된 앵커로 취급하는 이전 연구들과 달리, AlignG 는 프로토타입을 각 이미지 내의 관계적 단서에 기반하여 동적으로 적응하는 컨텍스트 조건부 변수로 취급합니다.

이 프레임워크는 2 단계 정제 과정을 통해 작동합니다:

1 단계: 술어 프로토타입의 컨텍스트화

정적 프로토타입을 사용하는 대신, AlignG 는 현재 이미지로부터의 관계적 증거를 활용하여 프로토타입을 점진적으로 업데이트합니다.

• 메커니즘: **호환성 가중 교차 어텐션 (compatibility-weighted cross-attention)**을 통해 각 프로토타입에 대한 관계 임베딩을 집계합니다. 이 메커니즘은 글로벌 프로토타입과 이미지 내 모든 관계 후보 간의 호환성을 평가하여 가장 관련성 높은 것들에 더 높은 가중치를 부여합니다.
• 업데이트 규칙: 생성된 컨텍스트 신호는 정규화된 정적 프로토타입과 함께 게이트형 순환 유닛 (GRU) 셀에 입력됩니다. 이를 통해 이미지별 정제된 프로토타입 $p^{(I)}_r$이 생성됩니다.
• 목표: 이는 프로토타입이 글로벌 의미 공간 내에서 안정성을 유지하면서 지역적 증거에 따라 진화할 수 있게 하여, 급격한 의미적 이탈을 방지합니다.

2 단계: 관계 임베딩의 재보정

프로토타입이 적응되면, 이를 사용하여 관계 임베딩을 정제합니다.

• 메커니즘: 역방향 교차 어텐션 (reverse cross-attention) 메커니즘이 적응된 프로토타입을 관계 후보로 다시 전파합니다. 이는 각 적응된 프로토타입이 특정 관계 임베딩을 정제하는 데 기여하는 정도를 결정합니다.
• 재보정: 원시 관계 임베딩은 투영 네트워크를 통해 프로토타입 기반 피드백 신호와 융합됩니다.
• 목표: 이 단일 단계 조정은 관계 표현이 지역적 변화에 유연하면서도 글로벌 의미와 일관되도록 보장합니다.

학습 목적 함수

최적화는 다음 세 가지 주요 손실 함수를 따릅니다:

1. 분류 손실 ($L_{cls}$): 술어 예측을 위한 표준 교차 엔트로피.
2. 정규화 손실 ($L_{reg}$): 프로토타입 간의 다양성을 강제하고 중복을 방지합니다 (유사성 패널티 및 다양성 마진).
3. 정렬 손실 ($L_{align}$): 재보정된 관계 임베딩을 정적 글로벌 프로토타입 (적응된 것이 아님) 에 가깝게 끌어당기고 혼란스러운 부정 샘플 (negatives) 로부터 멀어지게 하는 대비 손실 (contrastive loss) 입니다.
   • 중요한 설계 선택: 손실을 정적 프로토타입에 고정함으로써 단일 이미지 내에서 관계와 프로토타입 간의 사소한 공동 적응 (trivial co-adaptation) 을 방지하여, 분류기가 이미지와 무관한 의미 중심에 기반하도록 보장합니다.

3. 주요 기여

1. 술어 학습의 재형식화: 정적 프로토타입 학습에서 이미지 조건부 적응으로 패러다임을 전환하여, 관계적 증거에 반응하는 동적 변수로 술어 의미를 다룹니다.
2. AlignG 프레임워크: 다음을 수행하는 2 단계 프로토타입 피드백 메커니즘을 도입합니다:
   • 이미지별 증거에 프로토타입을 적응시킵니다.
   • 이러한 적응된 프로토타입 하에서 관계 특징을 재보정합니다.
   • 손실 함수 내 정적 앵커링을 통해 글로벌 의미 일관성을 유지합니다.
3. 실증적 검증: 시각화를 통해 일관되고 컨텍스트 의존적인 술어 의미 재구성을 보여주며, 표준 벤치마크에서 최첨단 성능을 입증했습니다.

4. 실험 결과

모델은 Predicate Classification(PredCls), Scene Graph Classification(SGCls), Scene Graph Detection(SGDet) 의 세 가지 설정 하에서 VG-150 및 GQA-200에서 평가되었습니다.

• VG-150 성능:

  • SGDet 하에서 AlignG 는 F@100 점수 23.8을 달성하여 이전 최고 성능 (MCL) 대비 +1.4 향상을 보였습니다.
  • 모든 설정에서 가장 높은 평균 재현율 (mR@100) 을 달성했습니다 (PredCls 42.6, SGCls 26.1, SGDet 19.7).
  • PE-Net 백본과 비교하여 AlignG 는 mR@100 에서 상당한 향상 (+8.8, +7.2, +5.2) 을 보여주어, 개선이 개념 확장이 아닌 피드백 메커니즘에서 비롯되었음을 확인시켰습니다.

• GQA-200 성능:

  • AlignG 는 SGDet 에서 F@100 점수 19.5를 달성하여 베이스라인 대비 +2.7 향상을 보였습니다.
  • mR@100 에서 일관된 향상 (+10.8, PE-Net 대비) 을 보여주어, 긴 꼬리 분포 전반에 걸쳐 글로벌 정확도와 공정성을 효과적으로 균형 잡았습니다.

• 절차 제거 및 분석:

  • 구성 요소 분석: 단순 연결을 GRU 기반 업데이트어로 대체하는 것이 특히 평균 재현율에서 일관되게 성능을 향상시켰습니다.
  • 혼란 분석: AlignG 는 PE-Net 이 어려운 부정 쌍 (예: "lying on"과 "laying on" 구분) 에서 저지른 오류의 11.5% 에서 42.6% 사이를 해결했습니다.
  • 계산 오버헤드: 이 방법은 최소한의 계산 비용 (+7.05G FLOPs, +0.03 초/반복) 을 추가하면서도 실시간 추론 속도 (>30 FPS) 를 유지합니다.

5. 중요성 및 주장

이 논문은 의미론적 일관성과 컨텍스트 유연성이 통합된 구조 내에서 공존할 수 있다고 주장합니다. 적응성을 술어 표현에 직접 통합함으로써, AlignG 는 안정성을 제공하는 정적 프로토타입과 장면 증거를 포착하는 이미지별 적응이 상호 보완적 메커니즘으로 작동할 수 있음을 입증합니다.

저자들은 그들의 접근 방식이 다음과 같음을 강조합니다:

• 모호한 술어 정제: 이미지별 프로토타입 유사성 히트맵으로 시각화된 바와 같이, 장면 증거에 기반하여 술어 의미를 선택적으로 병합하거나 분리합니다.
• 의미 이탈 방지: 정렬 손실에서 정적 프로토타입을 사용하여 모델을 글로벌 의미 중심에 고정함으로써, 모델이 지역적 아티팩트나 잡음 있는 검출로 이탈하는 것을 방지합니다.
• 일반화 가능성: 이미지 기반 벤치마크에서 검증되었지만, 저자들은 관계적 의미가 시간에 따라 변화하는 비디오 이해와 같은 순차적 설정으로도 컨텍스트 조건부 적응의 원리가 확장될 수 있다고 제안합니다.

이 논문은 겸손한 영향 진술로 마무리하며, 이 방법이 SGG 를 발전시키지만 훈련 데이터셋의 주석 편향을 계승한다는 점을 인정합니다. 안전에 민감한 응용 분야에 대해서는 대상 분포에 대한 검증과 인간의 감독을 권장합니다.