기술 요약: 상관관계만으로는 부족하다 – 개별 인과 발견을 위한 인간 메타데이터 임베딩

1. 문제 제기: 올바름으로서의 임베딩 기하학(Embedding Geometry)

본 논문은 대규모 행동 모델(Large Behavioural Models, LBMs)을 개별 인과 발견(individual causal discovery)에 배치할 때 발생하는 치명적인 실패 모드를 다룹니다. 하위 언어 모델이 노이즈가 섞인 임베딩 결과를 필터링할 수 있는 일반적인 검색 시스템과 달리, LBM은 사용자의 삶에 대한 인과 그래프를 구축하며, 여기서 임베딩 근접도는 가설적 엣지(edge)를 설정하는 직접적인 근거로 작용합니다. 만약 임베딩 공간이 표면적인 어휘 중첩(예: "코르티솔 28 µg/dL"와 "주식 시장 변동성")으로 인해 서로 무관한 사건들을 가깝게 배치한다면, LBM은 잘못된 인과 관계를 추론하여 사용자의 삶에 대한 모델을 오염시킬 것입니다.

저자들은 기성 바이오메디컬 인코더(BioBERT, PubMedBERT, BioM-ELECTRA)가 이러한 특정 요구사항을 충족하지 못함을 입증했습니다. 이 모델들은 도메인 내 유사도는 높지만, 임베딩이 좁은 원뿔 형태로 붕괴되는 이방성(anisotropy) 현상을 보이며, 이로 인해 서로 무관한 교차 도메인 쌍들이 0.76~0.92의 코사인 유사도를 달성하게 됩니다. 결과적으로, 교차 도메인 판별 정확도가 정확히 0%가 되어, 사전 학습된 모델들을 그래프 기반 인과 추론에 사용하는 것이 불가능해집니다.

2. 방법론

저자들은 임베딩 기하학을 교정하기 위한 2단계 대조 학습(two-pass contrastive fine-tuning) 전략과 하드웨어에 최적화된 추론 파이프라인을 제안합니다.

2.1 2단계 미세 조정 (Two-Pass Fine-Tuning)

• 1단계 (대조 학습): 8개의 공개 데이터셋(BIOSSES, MedNLI, 심리학 저널 포함)에서 추출한 72,034개의 트리플릿(앵커, 긍정, 하드 네거티브)을 사용하여 모델을 미세 조정합니다. 학습에는 **Multiple Negatives Ranking Loss (MNRL)**를 감싼 Matryoshka Loss가 활용됩니다. 이 방식은 중첩된 차원(768, 512, 256, 128, 64)을 동시에 학습시켜, 단일 모델이 재학습 없이도 저장, 탐색 및 온디바이스 추론을 위해 다양한 벡터 크기를 제공할 수 있도록 합니다.
• 2단계 (BODHI): 휴리스틱 기반의 하드 네거티브가 가진 한계를 해결하기 위해, 저자들은 BODHI(Biomedical Ontology-Graph Hard-negative Inference)를 도입합니다. BODHI는 큐레이션된 바이오메디컬 지식 그래프에서 하드 네거티브를 채굴합니다. 그래프에 존재하지만 명시적인 엣지(또는 경로 길이 ≤2)가 없는 개념 쌍을 하드 네거티브로 취급합니다. 이를 통해 모델은 표면적인 단어가 겹치더라도 도메인 전문가 간의 연결이 부재함이 비인과성의 강력한 신호임을 학습하게 됩니다.

2.2 하드웨어 및 추론 최적화

본 연구는 두 가지 Intel 플랫폼에서 성능을 평가합니다:

• 주요 플랫폼: BF16 행렬 곱셈을 위한 네이티브 AMX(Advanced Matrix Extensions)를 탑능한 Intel Xeon 6737P (Granite Rapids).
• 참조 플랫폼: AMX 없이 AVX-512 VNI를 사용하는 AWS c6i.8xlarge (Ice Lake).

저자들은 OpenVINO를 사용하여 추론을 수행하며, FP16 가중치와 BF16 런타임으로 모델을 내보냅니다. 이들은 일반적인 배포 권장 사항에 이의를 제기하며, 일반적인 서빙 배치 사이즈에서 FP16이 INT8보다 우수함을 입증했습니다. INT8은 이론적인 처리량 이점을 제공하지만, 스칼라 유닛에서의 어텐션 및 피드포워드 블록을 위한 역양자화(dequantization) 오버헤드가 배치 사이즈 512 미만에서는 그 이점을 상쇄합니다. 또한, 비 AMX 하드웨어(Ice Lake)에서의 INT8 양자화는 미세 조정을 통해 생성된 판별 신호를 파괴하여 기하학적 비율을 크게 감소시킵니다.

3. 주요 결과

3.1 임베딩 품질

• 기하학적 비율 (Geometry Ratio): 도메인 간 거리 대비 도메인 내 거리의 비율이 1.05×(사전 학습)에서 1.63×(1단계)를 거쳐 최종적으로 2.30×(BODHI)로 개선되었습니다. 비율이 1.5를 초과하는 지점을 신뢰할 수 있는 그래프 추론의 임계값으로 정의했습니다.
• 판별 격차 (Discrimination Gap): 무관한 쌍과 관련된 쌍 사이의 격차가 사전 학습된 PubMedBERT의 +0.013에서 BODHI 적용 후 +0.392로 증가했습니다.
• BIOSSES 상관관계: PubMedBERT 1단계 모델은 임상의 점수와 0.828의 순위 상관관관계를 달 기록하며, 강한 일치성을 나타내는 0.80 임계값을 넘어섰습니다.
• 교차 도메인 정확도: 사전 학습된 모델은 교차 도메인 판별에서 0%를 기록했습니다. 반면 BODHI는 코사인 임계값 0.40에서 **F1 스코어 93.0%**를 달성했으며, 이는 사전 학습 모델의 최대치인 72.7%를 상회하는 수치입니다.
• 모델 아키텍처: BioBERT와 PubMedBERT(BERT 기반)는 미세 조정에 잘 반응했습니다. BioM-ELECTRA는 높은 원시 유사도에도 불구하고, 사용 가능한 임베더로 재형성되는 데 실패하여(F1이 낮게 유지됨) 스팬 추출(span-extraction) 사전 학습 목표가 인과 임베딩 작업으로 전이되지 않음을 보여주었습니다.

3.2 성능 및 지연 시간

• 지연 시간 감소: AMX 서버에서 OpenVino를 통해 단일 쿼리 지연 시간을 PyTorch의 1,367 ms에서 10 ms로 줄였으며(133배 가속), 코사인 충실도는 0.994 이상을 유지했습니다.
• 처리량: 미세 조정된 모델은 배치 512에서 초당 555개 문장을 처리했습니다.
• AMX vs. Non-AMX: AMX 서버는 Ice Lake 참조 모델보다 13~27배 더 빨랐습니다. 결정적으로, Ice Lake는 속도를 위해 INT8을 사용할 수 있었으나, 이 양자화는 판별 격차를 평탄화하여 신호의 17~50%만을 유지했습니다. 반면 AMX에서는 FP16/BF16이 우수한 속도와 함께 전체 신호 충실도를 유지했습니다.

4. 의의 및 주장

본 논문은 대규모 행동 모델(LBM)에게 있어 임베딩 기하학은 단순한 튜닝 노브가 아니라 곧 '올바름(correctness)' 그 자체라고 주장합니다. 저자들의 핵심 주장은 다음과 같습니다:

1. 인과 발견에는 분리가 필요하다: 표준 검색은 높은 노이즈 허용 범위를 갖지만, 그래프 추론은 그렇지 않습니다. 제안된 BODHI 방법은 교차 도민 사건들을 성공적으로 분리하여, LBM이 존재하지 않는 연결을 만들어내지 않고도 엣지를 가설화할 수 있게 합니다.
2. 온톨로지 가이드 학습: 지식 그래프의 "부재하는 엣지"를 학습하는 것은 임베딩 판별력을 높이는 고효율 전략이며, 이는 바이오메디컬 도메인을 넘어 모든 구조화된 온톨로지로 일반화될 수 있습니다.
3. 하드웨어 특화 배포: 본 연구는 Intel AMX 하드웨어에 대한 역설적인 발견을 제공합니다. 즉, 생산 배치 사이즈에서 dequantization 오버헤드와 판별 격차 보존 문제를 고려할 때 FP16이 INT8보다 우수함을 보여주었습니다.
4. 재현성: 저자들은 B1~B6 전체 벤치마크 세트, 72k 쌍의 코퍼스, BODHI 생성기, 학습 스크립트 및 최적화된 가중치를 공개하여, 독점적인 해자를 만드는 대신 분야 전체의 실패(교차 도메인 인과 발견의 실패)를 해결하고자 합니다.

결론적으로, 집단 수준에서 상관관계로부터 인과관계로 나아가는 데는 무작위 대조 시험이 필요하지만, 개별 LBM의 경우 이는 주로 임베딩 기하학의 문제입니다. 기하학을 바로잡음으로써 그래프 트래버설(graph traversal)이 올바르게 작동할 수 있으며, 그렇지 못할 경우 다운스트림 추론은 근본적으로 결함이 생기게 됩니다.