Statistically Indistinguishable, Operationally Distinct: A Formal Barrier for Tabular Foundation Models

기술 요약: 통계적으로는 구별 불가능하나, 운영 측면에서는 구별됨

문제 정의
본 논문은 테이블형 파운데이션 모델(tabular foundation models)의 근본적인 한계, 즉 운영 규칙에 대한 접근 권한 없이 기업 시스템에서 생성된 데이터를 추론할 수 없다는 점을 다룹다. 이러한 모델들은 단일하고 독립적인 테이블에 대해서는 탁월한 성능을 보이지만, 실제 운영 환경의 테이블은 애플리케이션 코드가 행(row)을 작성하고, 선언적 제약 조건이 값을 제한하며, 절차적 트리거가 상태 전이를 강제하는 복잡한 시스템의 투영체이다. 결과적으로 모델이 학습할 수 있는 데이터에는 값을 생성한 운영 로직(규칙, 트리거, 코드)이 결여되어 있는 경우가 많다. 저자들은 이러한 "운영적 근거(operational grounding)"에 대한 접근이 없다면, 모델은 값의 분포만으로는 합법적인 데이터베이스 상태와 불법적인 상태를 통계적으로 구별할 수 없는 형식적 장벽에 직면하게 된다고 주장한다.

방법론: 운영 튜링 테스트 (Operational Turing Test, OTT)
이 장벽을 반증 가능하게 만들기 위해, 저자들은 "합법적" 상태와 "규칙 위반" 상태의 데이터베이스 상태를 구분하는 이진 분류 과업인 운영 튜링 테스트(OTT)를 구축하였다.

• 구성: 이 테스트는 3개 테이블로 구성된 주문-결제(order-to-cash) 스키마(고객, 주문, 주문 항목)를 활용한다. 저자들은 1방향 및 2방향 컬럼-값 주변 분포(marginals)를 총 변동 거리(total variation distance) $\tau < 0.02$ 이내로 유지하면서, 특정 규칙을 위반하는 "불법적" 상태 쌍을 생성한다.
• 오염 유형 (Corruption Types): 테스트되는 네 가지 운영 규칙 패밀리는 다음과 같다:
  1. 관계적 값 일관성 (Relational Value Consistency): 외래 키 제약 조건을 위반함 (예: ID를 보이지 않는 값으로 교체).
  2. 카디널리티 일관성 (Cardinality Consistency): 개별 행의 값은 유지하로 집계 경계값을 위반함 (예: 주문당 아이템 수 위반).
  3. 값-변환 로직 (Value-Transformation Logic): 절차적 공식(예: $total = \sum line\_items \times (1 + tax)$)을 위반하며, 컬럼 전체의 히스토그램을 변화시키지 않는 오프셋을 추가하여 계산 오류를 발생시킴.
  4. 값-상태 전이 (Value-State Transitions): 상태 값의 주변 분포를 유지하면서 상태 전이 규칙(예: pending $\to$ shipped)을 위반함.
• 이론적 경계: 저자들은 "값 전용(values-only)" 분류기(컬럼-값 주변 분포에 국한된 분류기)에 대한 베이즈 오차(Bayes error)의 이론적 하한선을 설정하기 위해 르 캄의 레마(Le Cam's lemma)를 인용한다. 두 분포 사이의 TV 거리가 $\le \tau$일 때, 오차는 $\frac{1}{2} - \frac{\tau}{2}$로 제한된다. $\tau < 0.02$인 경우, 최소 오차는 $\ge 0.49$가 되어 정확도가 약 0.50(무작위 확률)을 초과할 수 없음을 의미한다.

실험 설정
본 연구는 어떤 정보가 이 장벽을 넘기 위해 필요한지를 결정하기 위해 "액세스 사다리(access ladder)"를 따라 모델을 평가한다:

1. 값 전용 베이스라인 (Values-Only Baselines): 컬럼 통계(평균, 표준편차, 사분위수 등)의 35차원 요약 정보만을 제공받은 모델. 아키텍처로는 XGBoost, TabICL, TabPFN이 포함된다.
2. 행 수준 접근 (Row-Level Access): 규칙 맥락 없이 가공되지 않은 원시 행 데이터만을 제공받은 모델.
3. 관계적 접근 (Relational Access): 조인(join), 외래 키 커버리지, 그룹 카운트 등의 특징을 포함하여 제공받은 모델.
4. 운영적 근거 (Operational Grounding): 7개의 실행 가능한 규칙 기반 감사(audit)의 스칼라 출력을 통해 보강된 모델 (예: 일관성 확인을 위해 품목으로부터 총액을 재계산).
5. 프런티어 LLM (Frontier LLMs): 전체 스키마, 트리거 소스 코드, 규칙 테이블 및 상태 파일을 프롬프트로 제공받은 대규모 언어 모델(GPT-5.5, Kimi-K2.6). SQL 실행 능력을 포함하거나 제외하여 테스트하였다.

주요 결과

• 값 전용 모델의 실패: 모든 값 전only 베이스라인(XGBoost, TabICL, TabPFN)은 무작위 확률($\approx 0.50$)과 통계적으로 동일한 정확도를 보였다. 사전 등록된 두 가지 일측 검정(TOST)을 통해 이들이 합법적 상태와 불법적 상태를 구분하지 못함을 확인했다 ($p < 0.002$). 이는 학습 데이터가 늘어나거나(최대 5,000개 쌍) 원시 행 수준의 접근 권한이 주어져도 동일하게 나타났다.
• 관계적 정보의 불충분성: 관계적 모델(HistGB, RDB-PFN)은 정확도가 0.89까지 크게 향상되었다. 이들은 외래 키 위반, 카디니리티 위반, 상태 전이 오류를 성공적으로 탐지했다. 그러나 값-변환 로직에 대해서는 완전히 실패했다 (재현율 $\le 0.02$). 이는 연결성(connectivity) 정보만으로는 세금이나 할인 계산과 같은 실행 가능한 공식을 재구성할 수 없기 때문이다.
• 운영적 근거의 성공: 7개의 실행 가능한 규칙 기반 감사를 통해 보강된 분류기는 1.00의 정확도를 달성하며 격차를 완전히 해소했다. 이는 장벽이 모델 용량의 문제가 아니라, 실행 가능한 로직에 대한 접근성 문제임을 입증한다.
• LLM의 한계: 전체 소스 아티팩트(스키마, 코드, 규칙)를 프롬프트로 제공받은 프런티어 LLM들은 테스트를 통과하지 못했다. GPT-5.5는 50개의 합법적 상태 중 0개를 합법(LEGAL)으로 분류했으며, Kimi-K2.6은 단 2개만을 분류했다. 높은 추론 노력과 SQL 실행 능력을 갖추었음에도 불구하고, LLM은 소스 아티팩트를 결정론적인 적법성 체크로 컴파일하는 데 실패했으며, 종종 술어(predicate)를 잘못 기술하거나 변환 체크를 누락했다.

의의 및 주장
본 논문은 운영 규칙 없이 시스템 생성 데이터에 대해 추론할 수 없는 현상이 모델의 용량 문제가 아니라 식별 가능성(identifiability) 문제라고 주장한다.

• 형식적 장벽: 통계적 주변 분포가 고도로 정밀하게 일치할 때, 지배적인 규칙에 접근할 수 없는 모델은 무작위 선택보다 나은 성능을 낼 수 없음을 확립했다.
• 독립성: 이 장벽은 모델 아키텍처, 규모, 또는 특징의 풍부함과는 무관하다. 스케일링 법칙(scaling laws)은 운영적 근거의 부재를 극복할 수 없다.
• 발전 방향에 대한 시사점: 저자들은 테이블형 파운데이션 모델의 발전이 선언적 및 절차적 규칙을 단순히 검색된 텍스트가 아니라, 모델이 평가할 수 있는 '실행 가능한 입력'으로 취급하는 데 달려 있다고 주장한다. 현재의 벤치마크(예: TabArena)는 이러한 실패 모드를 놓치고 있으며, 오직 "액세스 사다리"에 대응하는 운영적 벤치마크만이 현재 모델의 진정한 한계를 드러낼 수 있다.

결론적으로, 본 논문은 실행 중인 시스템에서 생성된 데이터의 경우, 운영적 검증(어떤 규칙을 평가해야 하는지에 대한 지식)이 신뢰의 전제 조건이며, 현재의 파운데이션 모델은 명시적이고 실행 가능한 규칙 도출 없이는 이러한 검증을 안정적으로 수행할 수 있는 메커니즘이 부족하다고 밝히고 있다.