Embedding Rotation Invariance for Provable Multi-Oriented Scene Text Recognition

기술 요약: 증명 가능한 다방향 텍스트 인식을 위한 임베딩 회전 불변성

문제 정의
장면 텍계인식(Scene Text Recognition, STR)은 다양한 각도로 나타나는 텍스트(예: 0°, 90°, 180°, 270°)가 존재하는 실제 환경의 다방향 텍스트를 처리할 때 상당한 어려움에 직면합니다. 기존 방식들은 일반적으로 텍s 인식 전에 텍스트를 수평으로 정렬하기 위해 명시적인 방향 추정이나 이미지 정형화(예: ASTER, ESIR)에 의존합니다. 이러한 방법들은 세 가지 주요 한계를 가집니다:

1. 이론적 보장의 부재: 이들은 모델이 방향을 올바르게 인지하는 데 의존하며, 이러한 인지 오류는 인식 실패로 이어집니다.
2. 계산 비용 증가: 방향 추정 또는 정형화 모듈을 위한 추가 네트워크는 추론 오버헤드를 발생시킵니다.
3. 데이터 의존성: 이들은 종종 광범위한 회전 기반 데이터 증강을 필요로 하며, 이로 인해 모델이 서로 다른 방향에 대한 별도의 특징을 학습하도록 강제하여 특징 활용 효율성을 저하시킵니다.

또한, 분류 또는 저수준 비전 작업을 위해 설계된 기존의 회전 등변(rotation-equivariant) 네트워크는 가변 길이의 다중 레이블 시퀀스 생성과 미세한 문자 세부 정보 보존이 필요한 STR에 직접 적용하기에는 적합하지 않습니다.

방법론
저자들은 사후 처리나 데이터 증강에 의존하는 대신, 네트워크 구조 내에 회전 불변성을 직접 임베딩하는 엔드투엔드 프레임워크인 RISTER(Rotation-Invariant Scene TExt Recognition)를 제안합니다. 이 시스템은 두 가지 핵심 구성 요소를 가진 인코더-디코더 패러다임을 따릅니다:

1. 회전 등변 국소-전역 추출(RELG) 인코더:

   • 목적: 미세한 세부 정보를 보존하고 문자 간 의존성을 모델링하면서, 이미지 회전에 따라 예측 가능하게 변환(등변적으로 변화)되는 시각적 특징을 추출합니다.
   • 구조: RELG는 딥 등변 컨볼루션과 셀프 어텐션을 통합합니다. 로컬 블록 내에서 F-Conv(푸리에 기반 그룹 등변 컨볼루션)를 사용하여 점진적인 다운샘플링을 통한 회전 등변 특징 추출을 수행합니다. 이는 얕은 토큰화 과정에서 흔히 손실되는 기하학적 세부 정보를 보존합니다.
   • 전역 모델링: 글로벌 블록은 본질적으로 회전에 등변적인 셀프 어텐션 메커니즘을 사용하여, 특징 맵 전체의 문자 간 의존성과 위치 정보를 포착합니다.

2. 회전 불변 텍스트 디코더(RITD):

   • 이론적 기초: 저자들은 크로스 어텐션(cross-attention) 메커니즘이 2D 특징 입력에 대해 작동할 때 회전 불변 속성을 가진다는 이론적 증명을 제공합니다. 구체적으로, 쿼리 토큰($Q$)이 고정되어 있고 소스 토큰(시각적 특징 $F$)이 공간적 회전($R_\theta$)을 겪더라도, 결과적인 어텐션 특징은 동일하게 유지됩니다 ($\mathcal{C}(Q, R_\theta(F)) \equiv \mathcal{C}(Q, F)$).
   • 구현: RITD는 쿼리 토큰이 이전에 디코딩된 문자로부터 유도되며(고정된 쿼리 처리를 통해) 이미지 회전에 대해 불변이라는 성질을 활용하여 이 속성을 활용합니다. 시각적 특징은 크로스 어텐션의 소스로 사용됩니다. 이 설계는 시각적 특징에서 출력 텍스트 공간으로의 매핑이 회전 불변하도록 보장하여, 입력 방향에 관계없이 일관된 예측을 생성합니다.

주요 기여

• 이론적 증명: 본 논문은 크로스 어텐션의 회전 불변 속성을 확립하여, 이것이 기하학적 구조에 민감하지 않은 순서 없는 특징 집합에 대한 매핑을 정의함을 입증했습니다.
• 아키텍처 설계:
  • 도출된 설계 원칙(불변 쿼리를 사용하는 크로스 어텐션 사용)을 준수하여 회전 불변 가변 길이 디코딩을 달성하는 디코더인 RITD를 제격합니다.
  • 회전 등변성, 미세 세부 정보 보존, 문자 간 의존성 모델링 사이의 균형을 맞추기 위해 딥 등변 컨볼루션과 셀프 어텐션을 결다는 계층적 인코더인 RELG를 제안합니다.
• 엔드투엔드 불변성: RELG와 RITD를 통합함으로써, RISTER는 추가적인 추론 계산이나 데이터 기반 방향 교정에 의존하지 않고 완전한 회전 불변성을 달もの합니다.

실험 결과
표준 데이터셋(IC13, SVT 등)과 도전적인 다방향 데이터셋(Union14M-Benchmarks, ASOT)을 포함한 14개의 영어 벤치마크에서 실험이 수행되었습니다.

• 성능: RISTER는 표준 및 다방향 벤치마크 모두에서 최첨단(SOTA) 성능을 달성했습니다. 일반적인 다방향 데이터셋에서 두 번째로 우수한 모델보다 정확도 면에서 4.0% 앞섰습니다.
• 강건성: 베이스라인 모델들이 입력 이미지가 회전될 때 상당한 정확도 저하를 겪는 것과 달리, RISTER는 0°, 90°, 180°, 270° 방향에 대해 일관된 인식 정확도를 보여줍니다.
• 효율성: 그룹 등변 컨볼루션을 사용함에도 불구하고, RISTER는 훈련 후 순환 이동(cyclic shifting)을 통해 파라미터가 고정되므로 표준 컨볼루션과 비교하여 추가적인 추론 비용이 발생하지 않습니다. FLOPs, 파라미터 수, FPS는 기존의 AR 기반 STR 방식(예: NRTR)과 유사합니다.
• 어블레이션 연구: Rot-E 인코더 또는 Rot-I 디코더 중 하나라도 제거하면 엔드투엔드 불변성이 깨지며, 이는 두 구성 요소 모두의 필요성을 확인시켜 줍니다. 또한, RISTER는 무작위 회전 증강으로 훈련된 모델보다 우수한 성능을 보였으며, 이는 아키텍처적 불변성이 데이터 증강보다 더 원칙적인 접근 방식임을 시사합니다.

의의
본 논문은 RISTER가 다방향 STR에 대해 증명 가능한 회전 불변 솔루션을 제공한다고 주장합니다. 그 의의는 다음과 같이 기존의 회전 인식 방식의 한계를 해결하는 데 있습니다:

1. 명시적인 방향 추정 및 정형화 모듈의 필요성을 제거하여 계산 오버헤드를 줄입니다.
2. 회전 기반 데이터 증강에 대한 과도한 의존도를 없애 데이터 활용 효율을 높입니다.
3. 회전 불변성에 대한 이론적 보장을 제공하여, 다양하고 도전적인 실제 환경 전반에 걸친 모델의 강건성을 향상시킵니다.

저자들은 회전 불변성을 모델 아키텍처에 통합하는 것이 데이터 기반 전략보다 다방향 인식을 위한 더 우월한 전략이라고 결론지으며, STR 성능의 새로운 기준을 세웠습니다. 향후 연구는 수학 공식 인식과 같은 작업을 위해 이 프레임워크를 비정방형 입력 설정으로 확장하는 것을 목표로 합니다.