🤖 machine learning

Training Fair Tabular Foundation Models

이 논문은 합성 공정성 과업과 그래디언트 역전 레이어를 통해 공정성 제약 조건을 표 형식 파운데이션 모델(Tabular Foundation Models)에 직접 통합함으로써, 민감한 속성에 대한 접근 없이도 경쟁력 있는 정확도를 유지하면서 공정한 인컨텍스트(in-context) 예측을 가능하게 하는 확장 가능한 학습 전략인 FairTFM을 소개한다.

원저자: Patrik Kenfack, Jesse C. Cresswell, Anthony L. Caterini, Samira Ebrahimi Kahou, Ulrich Aïvodji

게시일 2026-08-17

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Patrik Kenfack, Jesse C. Cresswell, Anthony L. Caterini, Samira Ebrahimi Kahou, Ulrich Aïvodji

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 수백만 개의 사건 파일을 읽고 몇 가지 단서만으로도 즉시 범인을 추측해낼 수 있는 노련한 탐정처럼, 데이터의 패턴을 포착하는 법을 배운 초지능형 사전 학습 AI 어시스턴트를 이용해 미스터리를 해결하려는 탐정이라고 상상해 보십시오. 이것이 바로 **표 형식 파운데이션 모델(Tabular Foundation Models)**의 세계입니다. 이 모델들은 어떤 새로운 사건(대출 승인 예측, 질병 진단, 또는 장학금 수혜자 결정 등)에도 처음부터 다시 학습할 필요 없이 즉각 뛰어들 수 있는 "유니버설 탐정"과 같습니다. 이들은 **인-컨텍스트 러닝(In-Context Learning)**이라는 기술을 사용하는데, 이는 마치 탐정에게 현재 사건에 대한 몇 가지 예시가 담긴 노트를 건네며 "보통 이런 문제는 이렇게 해결해. 자, 이제 이 문제를 풀어봐"라고 말하는 것과 같습니다.

하지만 여기 함정이 있습니다. 아무리 똑똑한 탐정이라도 숨겨진 편향을 가질 수 있다는 점입니다. 만약 탐정이 특정 집단이 부당하게 대우받았던 과거의 사건 파일들을 통해 학습했다면, 새로운 사건에서도 동일한 집단의 사람들을 우연히 불공평하게 대할 수 있습니다. 이것이 바로 **알고리즘 공정성(algorithmic fairness)**의 문제입니다. 현실 세계에서는 성별, 인종, 연령과 같은 민감한 특성에 따라 결정이 내려져서는 안 된다는 엄격한 규칙(예: 차별 금지법)이 존재합니다. 과학자들이 던지는 핵심 질문은 이것입니다. "이 '유니버설 탐정'들이 실제 사건을 접하기 전에, 사전에 공정하도록 가르칠 수 있을까? 그래서 나중에 따로 수정할 필요가 없도록 만들 수 있을까?"

이 논문은 이러한 모델의 두뇌 속에 공정성을 직접 심어주려는 새로운 방법론인 FairTFM을 소개합니다. 연구진은 단순히 모델에게 정확성을 가르치는 것이 아니라, 중요하지 않은 "민감한" 단서들을 무시하도록 가르칩니다. 그들은 영리한 훈련 기법을 사용하여, 모델이 단 한 번의 훑어보기만으로도 더 공정한 예측을 할 수 있게 만들 수 있으며, 매번 새로운 작업에 맞춰 재학습할 필요도 없다는 것을 발견했습니다. 모델이 때때로 완벽한 정확도를 위해 아주 작은 타협을 해야 할 때도 있지만, 결과는 이 모델이 공정성을 획기적으로 높일 수 있음을 시사합니다. 때로는 70% 이상까지도 말이죠. 그러면서도 본래의 주요 과업은 여전히 훌륭하게 수행해냅니다.

문제점: "블라인드 스팟"을 가진 "유니버설 탐정"

표 형식 데이터(Tabular data)는 거대한 스프레드시트처럼 행과 열로 정리된 정보입니다. 수십 년 동안 이 스프레드시트로부터 예측을 수행하는 가장 좋은 방법은 트리 기반 모델(예/아니오 질문을 연속해서 던지는 순서도와 같은 형태)을 사용하는 것이었습니다. 하지만 최근에는 **표 형식 파운데이션 모델(TFM)**이라는 새로운 유형의 AI가 등장했습니다. 이들은 데이터 세계의 "슈퍼 탐정"과 같습니다. 방대한 양의 데이터 컬렉션으로 훈련되어, 예측 시점에 제공되는 몇 가지 예시만으로도 새로운 작업에 즉각 적응할 수 있습니다.

문제는 이 슈퍼 탐정들이 과거로부터 배우고 있다는 점이며, 과거는 종종 불공정함으로 가득 차 있습니다. 만약 어떤 은행의 과거 데이터에 여성들이 정당한 이유 없이 남성보다 대출을 더 많이 거절당했다는 기록이 있다면, 일반적인 TFM은 그 패턴을 학습하여 여전히 여성에게 대출을 거부하는 행동을 지속할 수 있습니다. 이는 불법이고 잘못된 일임에도 불구하고 말입니다.

보통 이를 해결하기 위해 데이터 과학자들은 훈련 전 데이터를 "정제"하거나, 이미 훈련된 모델을 미세 조정합니다. 하지만 TFM의 경우 이는 까다롭습니다. 왜냐하면 이 모델들은 "동결(frozen)"되도록 설계되었기 때문에(즉, 새로운 작업마다 내부 가중치를 변경하지 않음), 모든 특정 은행이나 병원에 맞춰 매번 다시 훈련할 수 없기 때문입니다. 우리는 이 모델들이 배치되기 전에 공정하도록 만들 수 있는 방법을 찾아야 합니다. 그래로 새로운 문제를 해결하라는 요청을 받는 즉시 공정할 준비가 되어 있도록 말입니다.

해결책: "잘못된" 단서를 무시하도록 훈련된 탐정

이 논문의 저자인 Patrik Kenfack와 그의 팀은 FairTFM이라 불리는 새로운 훈련 방식을 제안합니다. 그들의 아이디어는 단순하지만 강력합니다. 훈련 단계에서 모델이 민감한 정보를 사용하지 않고 결과를 예측하는 게임을 풀도록 가르치는 것입니다.

이 과정을 재미있는 비유를 들어 설명해 보겠습니다:

당신이 쿠키를 훔친 범인을 찾는 미스터리를 해결하도록 탐정을 훈련시키고 있다고 상상해 보십시오. 당신은 단서 목록을 가지고 있습니다: 시간대, 신발 자국 유형, 그리고 용의자가 좋아하는 색깔입니다. 하지만 동시에 "민감한" 단서도 하나 있습니다: 바로 용의자의 성별입니다. 당신은 신발 자국과 시간을 바탕으로 범인을 잡기를 원하지만, 성별을 바탕으로 판단하는 것은 원치 않습니다.

과거에는 단순히 성별 단서를 숨기려고 시도했을 수도 있습니다. 하지만 탐정은 똑똑합니다. 탐정은 다른 단서(예: 신발 자국)를 통해 성별을 유추하고, 이를 이용해 불공정한 이득을 취할 수도 있습니다.

FairTFM은 두 부분으로 구성된 훈련 게임을 사용합니다:

메인 게임: 탐정은 누가 쿠키를 훔쳤는지 맞히려고 노력합니다(주요 예측).
부정행위 방지 게임: 동시에, 탐정은 범죄를 해결하기 위해 사용한 단서들만을 근거로 용의자의 성별을 맞혀야 하는 강제적인 상황에 놓입니다.

여기서 마법 같은 기술이 등장합니다. 연구진은 **그래디언트 역전 레이어(Gradient Reversal Layer)**라는 특별한 도구를 사용합니다. 이것은 탐정의 두뇌를 위한 "후진 기어"라고 생각하면 됩니다. 탐정이 성별을 맞히려고 할 때, 이 도구는 피드백을 뒤집습니다. 만약 탐정이 성별을 맞혔다면, 도구는 "안 돼, 그건 나쁜 거야! 너는 성별에 너무 의존하고 있어!"라고 말하며 탐정이 그 연결 고리를 잊도록 밀어냅니다.

이 과정을 수천 가지의 서로 다른 가짜 "쿠키 절도" 시나리오(성별이 나이, 인종 등으로 무작위로 변하는 상황)를 통해 반복함으로써, 탐정은 오직 관련 있는 단서만을 사용하여 범죄를 해결하는 법을 배웁니다. 탐정은 성별 단서가 보이지 않는 세상의 정신적 지도를 구축하는 법을 배우게 됩니다.

결과: 맥락을 놓치지 않으면서도 실현한 공정성

연구팀은 이 새로운 "공정한 탐정"(FairTFM)을 소득 예측부터 재범 가능성 확인에 이르기까지 132가지의 서로 다른 과업에 테스트했습니다. 그리고 다음 모델들과 비교했습니다:

표준 탐정들: 공정성을 고려하지 않는 일반적인 초정밀 TFM들 (예: TabPFN, TabICL).
구식 탐정들: Random Forest나 Logistic Regression 같은 전통적인 모델들.
"공정" 경쟁자: FairPFN이라는 이름의 다른 모델로, 다른 방식의 더 복잡한 공정성 정의를 사용합니다.

결과는 유망했습니다. 표준적이고 매우 정확한 TFM들이 확실히 가장 정확했지만, 동시에 가장 불공정했습니다. 그들은 서로 다른 집단에 대해 큰 실수를 저질렀습니다.

그러나 FairTFM은 최적의 지점을 찾아냈습니다. 연구진은 모델이 얼마나 열심히 공정성을 추구할지를 조절하는 "노브(knob)"( $\lambda$ 라고 불림)를 조정함으로써 완벽한 균형을 맞출 수 있었습니다.

트레이드오프(Trade-off): 더 공정한 예측을 얻기 위해 모델은 약간의 원시 정확도를 포기해야 했습니다. 연구 결과, 정확도가 2%에서 11% 사이로 약간 감소했을 때, 모델은 기존 모델들보다 32%에서 75% 더 공정해졌습니다.
"원샷(One-Shot)"의 승리: 가장 놀라운 점은 FairTFM이 단 한 번의 순방향 패스(forward pass)만으로 이를 수행한다는 것입니다. 새로운 은행이나 병원마다 재학습할 필요가 없습니다. 데이터를 주면 즉시 공정한 예측을 내놓습니다.

다른 "공정" 모델인 FairPFN과 비교했을 때, FairTFM은 앞서 나갔습니다. FairPFN은 공정했지만 정확도가 훨씬 낮았습니다. 반면 FairTFM은 거의 모든 지표에서 FairPFN을 이기며, 공정함과 정확함 두 마리 토끼를 모두 잡았습니다.

이것이 미래에 갖는 의미

이 논문은 우리가 똑똑한 AI와 공정한 AI 중 하나를 선택할 필요가 없다는 점을 시사합니다. 모델의 "유년기"(사전 훈련 단계) 동안 민감한 속성을 무시하도록 훈련함으로써, 우리는 실세계에 투입되는 즉시 공정할 준비가 된 도구를 만들 수 있습니다.

물론 저자들은 이것이 모든 차별을 해결하는 마법 지팡이는 아니라는 점을 명시하고 있습니다. 모델은 여전히 실제 데이터로 테스트되어야 하며, "공정성"의 정의는 복잡할 수 있습니다. 하지만 이 연구는 명확한 경로를 보여줍니다. 우리는 강력할 뿐만 아니라 원칙을 준수하는 파운데이션 모델을 만들 수 있으며, 이를 통해 금융, 의료, 사법 분야와 같은 고위험 결정 상황에서 더욱 안전하고 신뢰할 수 있는 도구를 구축할 수 있습니다.

요약하자면, 저자들은 적절한 훈련을 통해 우리의 AI 탐정들이 편향에 휘둘리지 않고 사건을 해결하도록 가르칠 수 있음을 보여주었습니다. 그리고 그것은 우리 모두를 위한 승리입니다.

기술 요약: 공정성을 고려한 테이블형 파운데이션 모델 학습 (Training Fair Tabular Foundation Models)

문제 정의

TabPFN 및 TabDPT와 같은 테이블형 파운데이션 모델(Tabular Foundation Models, TFMs)은 인컨텍스트 학습(In-Context Learning, ICL)을 활용하여 특정 작업에 대한 별도의 학습이나 하이퍼파라미터 튜닝 없이 새로운 작업에 적응하는 최첨단 방법론으로 부상했습니다. 그러나 이러한 모델들이 의료 및 금융과 같은 고위험 영역에 점점 더 많이 배치됨에 따라, 이들의 공정성 특성은 여전히 미개척 영역으로 남아 있습니다. 전처리, 학습 중, 또는 후처리 단계에서 개입하는 기존의 공정성 인식 학습 기법들은 ICL 패러다임과 호환되지 않습니다. ICL에서는 고정된(frozen) 모델을 사용하여 단 한 번의 순방향 패스(forward pass)로 예측을 생성해야 하므로, 작업별 공정성 제약 조건을 적용하거나 재학습을 수행하는 것이 불가능합니다. 또한, FairPFN과 같은 기존의 TFM 공정성 접근 방식은 일반적인 테이블 벤치마크에서 흔히 사용되는 통계적 그룹 공정성 지표(인구통계적 패리티, 등화된 기회, 평등한 기회)보다는 인과적 공정성 개념(반사실적 공정성)에 초점을 맞추고 있습니다. 이는 공정성 격차를 만듭니다. 즉, 추론 시점에 민감한 속성에 접근할 수 없거나 작업별 최적화가 필요하지 않은 상태에서, ICL을 통해 직접적으로 공정한 예측을 보장할 수 있는 확장 가능한 방법론이 존재하지 않습니다.

방법론

저자들은 FairTFM을 제안합니다. 이는 테이블형 파운데이션 모델의 사전 학습(pretraining) 단계에 공정성 제약 조건을 직접 통합하는 프레임워크입니다. 이 접근 방식은 두 가지 주요 구성 요소로 이루어집니다.

1. 합성 공정성 작업 생성 (Synthetic Fairness Task Generation)

모든 데이터셋에서 레이블이 지정된 민감한 속성에 의존하지 않고도 확장 가능한 공정성 인식 사전 학습을 가능하게 하기 위해, 저자들은 자기 지도 학습형 작업 샘플링 전략을 도입합니다.

프로세스: 샘플링된 데이터셋으로부터 하나의 입력 피처를 무작위로 선택하여 민감한 속성( $s$ )으로 지정하고, 이를 피처 세트에서 제거합니다.
이산화(Discretization): 선택된 피처가 연속형인 경우, "스틱 브레이킹(stick-breaking)" 이산화 기법을 사용하여 범주형 변수로 변환합니다. 이는 Beta 분포로부터 비율을 샘플링하여 디리클레 프로세스(Dirichlet process)를 통해 데이터 의존적인 비균등 빈(bin)을 구성하는 과정을 포함합니다.
작업 형성: 데이터셋은 컨텍스트(학습) 세트와 쿼리(추론) 세트로 분할됩니다. 민감한 속성은 쿼리 세트에서 마스킹되며, 사전 학습과 추론 과정 모두에서 학습 가능한 파라미터로 대체됩니다. 이를 통해 추론 시점에 모델이 $s$ 에 직접 접근하지 못하도록 보장합니다.

2. 공정성 인식 아키텍처 및 학습 (Fairness-Aware Architecture and Training)

이 모델은 nanoTabPFN 트랜스포머 아키텍처를 듀얼 헤드 예측 메커니즘과 적대적 학습을 통해 확장합니다.

아키텍처: 트랜스포머는 $(x_i, y_i, s_i)$ $(x_{i}, y_{i}, s_{i})$ 삼중항(triplet)을 처리하며, 여기서 $s_i$ $s_{i}$ 는 토큰화된 민감한 속성입니다. 이 모델은 공유 백본(shared backbone)과 두 개의 다층 퍼셉트론(MLP) 헤드를 사용합니다:
1. 레이블 예측 헤드 (Label Prediction Head): 타겟 레이블 $\hat{y}_{qy}$ 를 예측합니다.
2. 민감한 속성 헤드 (Sensitive Attribute Head): 민감한 속성 $\hat{s}_{qy}$ 를 예측합니다.
경사 역전 층 (Gradient Reversal Layer, GRL): 민감한 속성 헤드 앞에 GRL이 배치됩니다. 이 헤드는 $s$ 에 대한 예측 오차를 최소화하도록 학습되지만, GRL은 역전파 시 그래디언트 신호에 $-1$을 곱하여 공유 트랜스포머 인코더로 전달합니다. 이러한 적대적 목적 함수는 인코더가 민감한 속성에 대해 불변(invariant)하는 표현을 학습하도록 강제하며, 결과적으로 $s$ 에 대한 정보를 억제하면서도 작업 관련 신호는 보존합니다.
학습 목적 함수: 모델은 다음과 같은 결합 교차 엔트로피 손실(joint cross-entropy loss)을 사용하여 최적화됩니다:
$L = CE(\hat{y}_{qy}, y_{qy}) + \lambda \cdot CE(\hat{s}_{qy}, s_{qy})$
하이퍼파라미터 $\lambda$ 는 예측 정확도와 공정성 사이의 트레이드오프를 조절합니다. $\lambda$ 가 높을수록 민감한 정보를 인코딩하는 것에 대한 페널티가 커지며, 모델을 더 공정한 파레토 프런티어(Pareto frontier) 쪽으로 밀어냅니다.

주요 기여

확장 가능한 공정성 작업 합성: 일반적인 데이터 사전 확률(data priors)로부터 스틱 브레이킹 그룹 구성을 통해 다양한 공정성 작업을 생성하는 전략을 제시하며, 이는 사전에 레이블링된 민감한 속성을 필요로 하지 않습니다.
FairTFM 아키텍처: 적대적 학습(GRL을 통한)을 활용하여 단 한 번의 순방향 패스로 공정한 예측을 가능하게 하는 트랜스포머 기반 아키텍처입니다. 이 모델은 작업마다 정체성이 변하고 추론 시 마스킹되는 민감한 속성을 처리할 수 있습니다.
포괄적인 실증적 평가: 132개의 공정성 작업(ACS PUMS에서 유도된 120개 및 기타 벤치마크 12개)에 대한 광범 fact 테스트를 통해, FairTFM이 경쟁력 있는 정확도를 유지하면서 통계적 그룹 공정성 지표를 개선함을 입증했습니다.

실험 결과

저자들은 FairTFM을 표준 머신러닝 베이스라인(LR, RF, XGBoost, KNN), 최신 TFM(TabPFNv2.5, TabICLv2), 그리고 인과적 공정성 베이스라인인 FairPFN과 비교 평가했습니다.

공정성-정확도 트레이드오프: 120개의 ACS 기반 작업에서, FairTFM 변형 모델들은 가장 강력한 TFM 베이스라인인 TabPFNv2.5 대비 공정성 지표(인구통계적 패리티, 등화된 기회, 평등한 기회)를 32–75% 개선하면서도 정확도 손실은 **2–11%**에 불근하게 유지했습니다.
고전적 방법론과의 비교: FairTFM은 고전적 베이스라인들과 비교하여 경쟁력 있거나 우수한 성능을 보였습니다. 특히 $\lambda=0.7$ 에서 FairTM은 모든 지표에서 로지스틱 회귀(Logistic Regression)를 압도하며 더 높은 정확도와 더 나은 공정성을 제공했습니다.
FairPFN과의 비교: FairPFN(인과적 공정성)은 일반 모델보다 낮은 불공정성을 달eric 했으나, 상당한 예측 비용(가장 낮은 AUCROC)을 치렀습니다. 반면 FairTFM은 FairPFN을 파레토 우위(Pareto-dominate)에 서게 하는 작동 지점들을 제공하여, 더 높은 정확도와 더 나은 공정성을 동시에 달성했습니다.
일반화 성능: 모델은 12개의 비-ACS 벤치마크(예: Adult, COMPAS, German Credit)에서도 잘 일반화되었으며, 이는 합성 공정성 사전 학습을 통해 학습된 공정성이 서로 다른 데이터 출처 간에도 전이될 수 있음을 보여줍니다.
표현 분석 (Representation Analysis): 프로빙(Probing) 실험을 통해 FairTFM 임베딩이 민감한 정보를 선택적으로 제거(민감한 속성 예측 AUC를 무작위 추측 수준에 가깝게 감소)하는 동시에 레이블 예측 가능성은 보존함을 확인했습니다.
효율성: 매 작업 및 제약 조건마다 재학습이 필요한 고전적인 공정성 인식 방법(예: Exponentiated Gradient)과 달리, FairTFM은 작업별 최적화 없이 단 한 번의 순방향 패스로 이러한 결과를 달성합니다.

의의 및 주장

본 논문은 사전 학습 단계에서 통계적 그룹 공정성 개념(인구통계적 패리티, 평등한 기회, 등화된 기회)을 고려하는 최초의 테이블형 파운데이션 모델 사전 학습 프레임워크를 제시한다고 주장합니다.

이 연구의 의의는 공정성을 파운데이션 모델의 사전 학습 단계에 직접 통합함으로써, 사후 수정이나 작업별 재학습, 또는 추론 시 민감한 속성에 대한 접근 없이도 단 한 번의 순방향 패스로 공정한 예측을 가능하게 했다는 점에 있습니다. 저자들은 이 접근 방식이 인컨텍스트 학습의 효율성과 고위험 의사결정의 윤리적 요구 사항 사이의 간극을 메운다고 주장합니다. 저자들은 FairTFM을 모든 시나리오에서 특화된 공정성 방법을 대체하는 것이 아니라, 이질적인 작업 전반에 걸쳐 경쟁력 있고 파레토 효율적인 솔루션을 제공하는 확장 가능한 기초로서 포지셔닝하며, 이는 더 나은 공정성-작업 사전 확률(fairness-task priors) 및 파운데이션 모델의 적응형 공정성 행동에 관한 향후 연구의 길을 열어줍니다.

저자들은 자신들의 사전 학습이 실제 세계의 민감한 속성이 가진 모든 의미론적 구조를 포착하지 못할 수 있다는 점과, 특히 연령을 민감한 속성으로 다루는 엄격한 설정에서는 FairTFM이 모든 단일 지표나 작업 구성에서 특화된 베이스라인을 압도하지 못한다는 점을 언급하며 한계를 겸허히 인정하고 있습니다.