H3Former: Hypergraph-based Semantic-Aware Aggregation via Hyperbolic Hierarchical Contrastive Loss for Fine-Grained Visual Classification

기술 요약: H3Former

문제 정의
미세 분류(Fine-Grained Visual Classification, FGVC)는 일반적인 클래스 내의 하위 범주(예: 서로 다른 조류 종)를 구별하는 것을 목표로 합니다. 이 작업은 미묘한 클래스 간 차이, 상당한 클래스 내 변이, 그리고 복잡한 배경 노이즈로 인해 어려움을 겪습니다. 기존의 접근 방식은 일반적으로 다음 두 가지 범주로 나뉩니다:

1. 특징 선택 기반 방법(Feature-selection based methods): 비전 트랜스포머(ViT)를 사용하여 정보가 풍부한 토큰을 선택합니다. 그러나 이러한 방법은 종종 이산적인 토큰만을 분리해낼 뿐, 응집력 있는 의미적 구조를 포착하지 못하며 부분들 사이의 전체론적 관계를 간과합니다.
2. 영역 제안 기반 방법(Region-proposal based methods): 후보 영역(종종 RPN을 통해 생성됨)을 생성하고 쌍별(pairwise) 관계를 모델링합니다. 이는 특징의 판별력을 향상시키지만, 범주와 무관한 중복된 배경 정보를 자주 도입하며, 두 노드 간의 의존성만을 모델링할 수 있는 전통적인 그래프 합성곱 네트워크의 한계로 인해 고차 그룹 상호작용을 포착하지 못합니다.

본 논문은 토큰 수준의 모델링과 영역 수준의 표현 사이의 간극을 메울 수 있는 통합된 접근 방식, 즉 토큰을 응집력 있는 의미적 영역으로 적응적으로 집계하면서 고차 의존성을 포착할 수 있는 접근 방식이 필요하다고 주장합니다.

방법론
저자들은 **의미 인식 집계 모듈(Semantic-Aware Aggregation Module, SAAM)**과 **쌍곡선 계층적 대조 학습 손실(Hyperbolic Hierarchical Contrastive Loss, HHCL)**을 통합한 토큰-투-영역(token-to-region) 프레임워크인 H3Former를 제안합니다.

1. 의미 인식 집계 모듈 (SAAM):

   • 컨텍스트 생성: SAAM은 컨텍스트 생성 모듈(CGM)을 활용하여 백본 특징으로부터 다중 스케일 컨텍스트 단서(평균 풀링, 최대 풀링 및 어텐션 가중치 컨텍스트 사용)를 추출합니다.
   • 하이퍼엣지 프로토타입 학습: 이러한 컨텍스트 단서는 학습 가능한 의미적 프로토타입 벡터를 생성하는 데 사용됩니다. 이 프로토타입들은 잠재적인 의미 클러스터의 중심점을 나타내는 "의미적 앵커" 역할을 합니다.
   • 동적 하이퍼그래프 구축: 모델은 시각적 토큰과 이러한 프로토타입 사이의 유사도를 계산하여 동적이고 가중치가 부여된 하이퍼그래프를 구축합니다. 두 노드를 연결하는 에지가 있는 표준 그래프와 달리, H3Former의 하이퍼엣지는 여러 토큰을 동시에 연결합니다. 이를 통해 모델은 명시적인 부분 주석(part annotation) 없이도 의미적으로 연관된 토큰들(예: "날개"를 나타내는 모든 토큰)을 하나의 응집력 있는 영역으로 적응적으로 그룹화할 수 있습니다.
   • 메시지 전달: 하이퍼그래프 합성곱 메커니즘은 양방향 메시지 전달(토큰-투-하이퍼엣지 및 하이퍼엣지-투-토큰)을 수행하여, 고차 의미 컨텍스트를 통합함으로써 토큰 특징을 정교화합니다.

2. 쌍곡선 계층적 대조 학습 손실 (HHCL):

   • 계층적 트리 임베딩: SAAM에서 유도된 영역 특징들은 그룹별 풀링을 통해 계층적 트리 구조로 조직되며, 이를 통해 미세한 국소 의미에서 추상적인 글로벌 개념에 이르는 다층적 표현을 생성합니다.
   • 이중 공간 대조 학습: HHCL은 유클리드 공간과 로렌츠(Lorentzian) 쌍곡선 공간 모두에서 제약 조건을 강제합니다.
     • 유클리드 공간: 국소적 메트릭 판별력을 보장하기 위한 클래스별 대조 학습에 사용됩니다.
     • 쌍곡선 공간: 트리 형태의 계층 구조를 모델링하는 데 자연스럽게 적합한 지수적 성장 특성을 활용합니다.
   • 부분 순서 보존: 특정 손실 항은 계층 구조의 부모 노드가 쌍곡선 공간에서 자식 노드와 더 가까이 유지되도록 하여, 국소적 세부 사항에서 글로벌 개념으로 이어지는 구조적 일관성과 매끄러운 의미적 전이를 유지합니다.

주요 기여

• H3Former 프레임워크: 토큰 수준의 단서를 의미적으로 응집력 있는 영역 수준의 표현으로 적응적으로 구조화하는 새로운 토큰-투-영역 표현 프레임워크를 제시합니다.
• SAAM: 하이퍼그래프를 사용하여 토큰 간의 고차 관계를 포착하고, 미리 정의된 영역 제안이나 부분 주석에 의존하지 않고도 점진적으로 의미적으로 응집력 있는 영역을 형성하는 모듈입니다.
• HHCL: 유클리드 공간과 쌍곡선 공간 모두에서 제약 조건을 강제함으로써 계층적 의미 표현을 강화하고, 클래스 판별력과 구조적 일관성을 향상시키도록 설계된 손실 함수입니다.
• 실증적 검증: 4개의 표준 FGVC 벤치마크(CUB-200-2011, NA-Birds, Stanford-Dogs, Oxford Flowers-101)에 대한 광범적인 실험을 통해 최첨단 성능을 입증했습니다.

실험 결과
저자들은 H3Former가 테스트된 모든 데이터셋에서 최첨단 방법들보다 우수한 정확도를 달성했다고 보고합니다:

• CUB-200-2011: 92.7% 정확도 (이전 최고치인 91.8%를 상회).
• NA-Birds: 91.6% 정확도.
• Stanford-Dogs: 95.8% 정확도 (이전 최고치인 92.9% 대비 상당한 개선).
• Oxford Flowers-101: 99.7% 정확도.

어블레이션 연구(Ablation studies)는 SAAM과 HHCL이 서로 보완적임을 확인시켜 줍니다. 둘 중 하나라도 제거되면 성능 저하가 발생합니다. 또한, 학습된 하이퍼엣지를 시각화한 결과, 모델이 판별력 있는 의미 영역(예: 부리, 날개, 귀)을 성공적으로 강조하며, 하이퍼그래프 구조가 명시적인 부분 수준의 감독 없이도 객체의 부위와 잘 일치함을 보여줍니다.

의의 및 주장
본 논문은 H3Former가 의미 인식 토큰 집계와 기하학적 인식을 통한 표현 학습을 결속시킴으로써 기존 FGVC 방법의 한계를 성공적으로 해결했다고 주장합니다. 그 의의는 다음과 같습니다:

1. 간극 해소: 국소적인 토큰 단서와 글로벌 구조적 표현을 효과적으로 연결하여, 쌍별 그래프 모델링 및 고립된 토큰 선택의 한계를 넘어섭니다.
2. 고차 모델링: 하이퍼그래프를 활용함으로써 표준 그래프가 놓치는 복잡한 그룹 단위의 의미적 의존성을 포착합니다.
3. 계층적 기하학: 계층적 대조 학습을 위해 쌍곡선 공간을 사용함으로써, 미세한 범주 계층 구조에 내재된 트리 형태의 구조를 모델링하는 데 더 자연스러운 기하학을 제공합니다.
4. 강건성: 이 프레임워크는 다양한 도메인(조류, 개, 꽃)과 높은 클래스 내 변이 속에서도 강건함을 입증하였으며, 다른 트랜스포머 기반 접근 방식들과 비교하여 합리적인 계산 비용으로 최첨단 결과를 달ей합니다.

저자들은 자신들의 접근 방식이 FGVC 작업에서 일반화 능력과 판별 능력을 향상시키는 구조적이고 미세한 의미적 조직을 제공한다고 결론짓습니다.