[기술 요약] 표 검색의 강건성 향상: 표현 안정성을 중심으로

1. 문제 정의 (Problem Statement)

현재 트랜스포머(Transformer) 기반의 표(Table) 검색 시스템은 구조화된 표를 1차원 토큰 시퀀스로 변환하는 직렬화(Serialization) 과정을 필수적으로 거칩니다. 기존 연구들은 이를 단순한 전처리 단계로 취급해 왔으나, 본 논문은 이 과정이 검색 성능에 결정적인 영향을 미치는 **'직렬화 병목(Serialization Bottleneck)'**임을 지적합니다.

• 핵심 문제: 동일한 의미를 가진 표라도 직렬화 방식(CSV, HTML, JSON, Markdown 등)에 따라 생성되는 임베딩(Embedding) 값이 크게 달라집니다.
• 결과: 이러한 임베딩의 불안정성(Instability)은 검색 모델이 표의 실제 의미(Semantic)가 아닌, 직렬화 형식에서 유도된 노이즈(Format-induced shift)에 민감하게 반응하게 만들어 검색 정확도(Recall@1)의 변동성을 초래합니다.

2. 방법론 (Methodology)

본 논문은 직렬화 형식에 구애받지 않는 **'형식 불변적(Format-agnostic)'**인 표 표현을 학습하기 위해 두 가지 핵심 접근법을 제안합니다.

A. 중심점 기반 표현 (Centroid-Based Representations)

연구진은 동일한 표의 다양한 직렬화 결과물들을 임베딩 공간 상의 하나의 '궤도(Orbit)'로 간주합니다.

• 가설: 각 직렬화 임베딩은 공유된 의미 신호($\mu$)와 형식 특유의 편향($\delta$)의 합($z = \mu + \delta$)으로 구성됩니다. 이때 여러 형식의 임베딩을 평균(Centroid) 내면 형식 특유의 편향($\delta$)은 상쇄되고 안정적인 의미 신호($\mu$)만 남을 것이라고 가정합니다.
• 이론적 근거: 유클리드 공간에서 중심점(Centroid)은 모든 직렬화 임베딩과의 거리를 최소화하는 최적의 지점임을 수학적으로 증명하였습니다.

B. 잔차 병목 어댑터 (Residual Bottleneck Adapter)

실제 서비스 환경에서 모든 직렬화 형식을 인코딩하고 저장하는 것은 비용이 너무 많이 듭니다. 이를 해결하기 위해 사후(Post-hoc) 교정 방식을 제안합니다.

• 구조: 기존의 인코더(Encoder)는 동결(Frozen)시킨 상태에서, 그 위에 가벼운 MLP 기반의 어댑터를 추가합니다. 이 어댑터는 단일 형식의 임베딩을 입력받아 이를 '중심점(Centroid)' 타겟으로 이동시키는 역할을 합니다.
• 학습 목적 함수 (VICReg 기반): 단순 회귀를 사용하면 임베딩이 붕괴(Collapse)될 위험이 있으므로, 다음 네 가지를 결합한 손실 함수를 사용합니다.
  1. Invariance (불변성): 서로 다른 직렬화 임베딩을 동일한 중심점으로 모음.
  2. Identity (항등성): 원래의 임베딩 공간과 너무 멀어지지 않도록 고정.
  3. Variance (분산): 임베딩이 한 점으로 뭉쳐버리는 붕괴 현상을 방지.
  4. Covariance (공분산): 차원 간의 중복성을 줄여 표현력을 유지.

3. 주요 기여 (Key Contributions)

1. 현상 규명: 직렬화 선택이 표 검색 성능의 1차적 변수임을 체계적으로 측정하고 정량화함.
2. 이론적 정립: 중심점 평균화가 어떻게 형식 특유의 노이즈를 제거하고 안정적인 의미 표현을 회복하는지 수학적으로 증명함.
3. 효율적 솔루션 제안: 추가적인 인코딩 비용 없이 단일 형식 임베딩만으로 중심점 수준의 강건성을 확보할 수 있는 가벼운 어댑터 구조를 개발함.

4. 실험 결과 (Results)

• 검색 성능 향상: MPNet, BGE-M3, ReasonIR과 같은 밀집 검색(Dense Retriever) 모델에서 어댑터 적용 시 Recall@1 성능이 유의미하게 향상되었습니다. 특히 HTML, XML, JSON과 같이 구조적 노이즈가 많은 형식에서 개선 폭이 컸습니다.
• 강건성 확보: 표의 행(Row)이나 열(Column)의 순서가 뒤섞인(Shuffled) 경우나, 한 표 내에서 여러 형식이 혼합된(Mixed-format) 극한의 상황에서도 검색 성능 저하를 효과적으로 방어했습니다.
• 모델별 차이: 밀집 검색 모델에서는 효과적이었으나, SPLADE와 같은 희소 검색(Sparse Retrieval) 모델에서는 어댑터가 오히려 성능을 저하시켰습니다. 이는 희소 임베딩의 기하학적 구조가 밀집 기반의 잔차 교정 방식과 맞지 않기 때문임을 밝혀냈습니다.
• 일반화 능력: 특정 데이터셋(WTQ, WikiSQL)으로 학습된 어댑터가 학습에 사용되지 않은 새로운 데이터셋(NQ-Tables)에서도 유효한 성능 향상을 보였습니다.

5. 의의 (Significance)

본 논문은 표 검색 분야에서 간과되었던 '직렬화 민감도' 문제를 수면 위로 끌어올렸습니다. 단순히 "어떤 형식이 더 좋은가?"라는 질문을 넘어, **"어떻게 하면 형식에 관계없이 안정적인 의미를 추출할 것인가?"**에 대한 기하학적 해법을 제시했습니다. 특히, 모델 전체를 재학습시키지 않고도 가벼운 어댑터만으로 기존 모델의 강건성을 높일 수 있다는 점은 실제 산업 현장의 대규모 데이터 인덱싱 환경에서 매우 높은 실용적 가치를 지닙니다.