🤖 machine learning

GoT-CD: Graph-of-Thoughts Causal Discovery and the Fragility of Post-hoc Path-Specific Fairness Audits

이 논문은 구조적으로 경쟁력 있는 인과 그래프를 생성하는 Graph-of-Thoughts 프레임워크인 GoT-CD를 소개하며, 고충실도 발견 방법조차 정확한 사후 경로 특정 공정성 감사를 위해 필수적인 특정 경로를 복구하는 데 실패할 수 있음을 입증함으로써, 인과 발견을 다운스트림 공정성 요구 사항의 관점에서 평가해야 할 결정적인 필요성을 강조한다.

원저자: Nitish Nagesh, Elahe Khatibi, Thomas Dean Hughes, Mahdi Bagheri, Pratik Gajane, Amir M. Rahmani

게시일 2026-08-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nitish Nagesh, Elahe Khatibi, Thomas Dean Hughes, Mahdi Bagheri, Pratik Gajane, Amir M. Rahmani

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 단지 흐릿하고 흑백인 범죄 현장 사진만을 가지고 미스터리를 풀려는 탐정이라고 상상해 보십시오. 용의자들을 명확하게 볼 수는 없지만, 당신은 누가 누구에게 무엇을 했는지 알아내야 합니다. 데이터 과학의 세계에서 이것은 **인과 발견(causal discovery)**이라고 불립니다. 모든 움직임을 관찰할 수 있는 통제된 실험을 수행하는 대신, 과학자들은 의료 기록이나 교통 로그와 같은 "관측 데이터"를 보고 어떤 요인이 다른 요인의 원인이 되는지 지도를 그리려 노력합니다. 예를 들어, 설탕을 너무 많이 먹는 것이 두통을 유발하는가, 아니면 그저 동시에 일어나는 현상일 뿐인가를 파악하는 것입니다.

일단 이 지도를 갖게 되면, 그 지도가 공정한지 확인하고 싶을 것입니다. 여기서 **경로 특정적 공정성(path-specific fairness)**이라는 개념이 등장합니다. 후보자를 탈락시키는 채용 알고리즘을 상상해 보십시오. 당신은 알고리즘이 그들을 탈락시킨 이유가 그들의 기술 때문인지(정당한 이유), 아니면 성별이나 인종 때문인지(불공정한 이유) 알고 싶어 합니다. 이를 답하기 위해서는, 당신의 지도 위에서 개인의 정체성으로부터 최종 결정에 이르는 구체적인 "경로"를 추적해야 합니다. 만약 지도가 틀렸다면, 당신의 공정성 검사는 쓸모없게 됩니다. 당신은 알고리즘이 공정하다고 생각할 수도 있지만 실제로는 편향되어 있을 수 있고, 혹은 그 반대일 수도 있습니다. 이것이 바로 이 논문이 탐구하는 까다로운 과학의 영역입니다. 어떻게 하면 최고의 지도를 만들 수 있으며, 그 지도가 우리가 공정성을 확인하려 할 때 우리를 속이지 않도록 어떻게 보장할 수 있을까요?

논문: GoT-CD와 "가짜 깨끗함(Fake Clean)"의 함정

니티쉬 나게쉬(Nitish Nagesh)와 그의 팀이 저술한 이 논문은 단순해 보이지만 실제로는 함정인 문제를 다룹니다. 저자들은 과학자들이 인공지능(특히 거대 언어 모델, LLM)을 사용하여 이러한 인과 지도를 그릴 때, 대개 지도가 "구조적으로 올바른지"만을 확인한다는 점을 발견했습니다. 이는 마치 학생이 그린 집 그림을 채점할 때, 창문과 문이 제 위치에 있는지 개수를 세며 채점하는 것과 같습니다. 하지만 만약 학생이 완벽한 집을 그렸지만 앞문을 그리는 것을 잊었다면 어떻게 될까요? 당신이 휠체어 사용자가 접근 가능한 집인지 확인하려 한다면, 나머지 그림이 완벽하더라도 그 누락된 문은 재앙이 됩니다.

이 논문은 GoT-CD(Graph-of-Thoughts Causal Discovery)라는 새로운 방법을 소개합니다. 이 방법이 어떻게 작동하는지 이해하기 위해, 동일한 사건을 다루는 세 명의 탐정 팀을 상상해 보십시오. 다만 이들은 서로 논쟁하는 대신, 각자 자신의 범죄 이론을 종이에 적어 동시에 제출합니다.

기존 방식 (Pairwise 또는 Traversal): 이전의 AI 방식들은 한 번에 두 가지 단서만 보거나("A가 B를 유발하는가?"), 한 단계씩 이야기를 쌓아 올리며 즉시 모든 추측을 확정 짓는 탐정들과 같았습니다. 만약 초기에 실수를 했다면 전체 이야기는 망가졌고, 다시 되돌아갈 수 없었습니다.
GoT-CD 방식: 이 방법은 여러 개의 완전한 지도를 동시에 생성합니다. 그런 다음, 엄격한 "심판"(결정론적 점수 함수)이 이 지도들을 검사합니다. 가장 좋은 지도들의 핵심적인 부분들이 결합되지만, 여기에는 매우 중요한 규칙이 있습니다: 어떤 탐정도 제안하지 않은 새로운 연결을 스스로 만들어낼 수 없다는 것입니다. 이는 AI가 그럴듯하게 들린다는 이유만으로 가짜 관계를 지어내는 것을 방으로 합니다. 마지막으로, 팀은 지도에 루프(A가 B를 유발하고, B가 C를 유발하며, 다시 C가 A를 유발하는 구조)가 없는지 확인하여, 지도를 깨끗한 일방통행 도로 지도인 DAG(Directed Acyclic Graph, 방향성 비순환 그래프)로 만듭니다.

연구팀은 알츠하이머병에 관한 데이터셋을 포함한 다섯 가지 데이터셋을 사용하여 이 새로운 방법을 기존의 고전적 수학 알고리즘 및 다른 AI 방법들과 비교 테스트했습니다. 공정한 비교를 위해 고정된 양의 데이터(100개의 관측치)와 특정 AI 모델(gpt-4o-mini)을 사용했습니다.

위대한 발견: "가짜 깨끗함" 인증서
가장 놀라운 발견은 GoT-CD가 더 나은 지도를 그린다는 사실 그 자체보다, 그 지도를 사용하여 공정성을 확인할 때 발생하는 현상입니다. 연구진은 실제로 불공정한 경로가 존재함을 알고 있는 알츠하이머 데이터셋에 집중했습니다: 성별(Sex) → 뇌 부피(Brain Volume) → MOCA 점수(인지 기능 검사). 성별이 뇌 부피에 영향을 미치고, 이것이 다시 검사 점수에 영향을 미친다는 것을 그들은 알고 있었습니다.

여기서 반전이 일습니다:

기존의 한 AI 방식(LLM-BFS)은 전반적으로 꽤 괜찮아 보이는 지도를 그렸습니다. 구조적 점수(F1)는 0.649로 준수했습니다.
그러나, 그 지도를 통해 불공정한 경로를 확인했을 때, 그 경로는 완전히 누락되어 있었습니다. 지도는 성별과 검사 점수 사이의 연결을 보여주지 않았습니다.
경로가 누락되었기 때문에, 공정성 감사 결과는 0으로 보고되었습니다. 이는 "불공정함이 감지되지 않음!"이라고 말하는 "깨끗한" 인증서처럼 보였습니다.
하지만 이것은 거짓이었습니다. 실제 불공정함은 0.572로 매우 컸습니다. AI는 편향이 존재하는 길을 그리는 것을 잊었기 때문에 편향을 찾아내지 못한 것입니다. 시스템이 공정해서가 아니라, 지도가 고장 났기 때문이었습니다.

반면, GoT-CD는 최고의 구조적 점수(0.757)를 가질 뿐만 아니라, 해당 불공정한 경로를 성공적으로 찾아냈습니다. 이 방법은 영향의 방향을 정확히 보고하며, 편향이 실제로 존재함을 보여주었습니다.

또 다른 방법인 GES는 경로를 찾아내긴 했지만, 너무 많은 추가적인 가짜 경로를 만들어내어 불공정함을 실제보다 7배나 더 크게 보이게 만들었습니다(실제 값 0.572 대신 4.034로 보고).

이것이 당신에게 의미하는 바

이 논문은 지도의 "좋은 점수"만으로 시스템이 공정하다고 믿어서는 안 된다고 시사합니다. 만약 지도가 편향된 결과로 이어지는 특정 도로를 놓쳤다면, 공정성 검사는 모든 것이 괜찮다고 자신 있게 말하겠지만, 실제로는 그렇지 않을 수 있습니다. 이것이 저자들이 말하는 "가짜 깨끗함 인증서(false-clean certificate)"입니다.

저자들은 만약 당신이 의료 결정이나 채용과 같은 일을 위해 이러한 지도를 만드는 데 AI를 사용하고 있다면, 단순히 전체적인 정확도만을 봐서는 안 된다고 주장합니다. 대신 구체적으로 확인해야 합니다: "이 지도가 우리가 중요하게 생각하는 경로를 찾아냈는가?"

이 연구는 GoT-CD가 지도를 만들기 위해 "생각하는 팀" 방식을 사용함으로써, 중요한 연결을 놓치거나 가짜 연결을 만들어내는 것을 방지한다는 점에서 강력한 후보임을 시사합니다. 비록 결과가 시뮬레이션과 특정 데이터셋(알츠하이머 예시 등)에 기반하고 있지만, 교훈은 명확합니다. 공정한 AI를 구축하는 경주에서, 예쁜 지도는 충분하지 않습니다. 올바른 도로가 그려져 있어야 하며, 그렇지 않으면 당신은 편향된 시스템을 공정하다고 잘못 인증하게 될 수도 있습니다.

기술 요약: GoT-CD와 사후 경로 특이적 공정성 감사(Post-hoc Path-Specific Fairness Audits)의 취약성

1. 문제 정의

인과 발견(Causal discovery)은 메커니즘 추론과 예측 모델의 공정성 감사를 지원하기 위해 임상 환경에서 점점 더 많이 활용되고 있다. 그러나 구조적 발견 정확도와 다운스트림 공정성 평가의 신뢰성 사이에는 결정적인 간극이 존재한다. 경로 특이적 반사실적 공정성 추정치(Path-specific counterfactual fairness estimands)는 제공된 인과 그래프를 기준으로 정의되며, 보호 속성( $S$ )에서 결과( $Y$ )로 이어지는 유향 경로의 존재와 구조에 전적으로 의존한다.

인과 발견에 대한 현재의 평가 관행은 모든 에지를 동일하게 가중치를 두는 집계적 구조 메트릭(예: 정밀도, 재현율, F1, Structural Hamming Distance)에 의존한다. 이러한 메트릭은 특정 하위 구조(즉, $S \to Y$ 경로)가 발견 과정에서 살아남았는지 여부를 판단하지 못한다. 결과적으로, 어떤 발견 방법론은 경쟁력 있는 구조적 F1 점수를 달성하면서도, 정작 중요한 불공정 경로를 복구하는 데는 실패할 수 있다. 이러한 경로가 누락될 경우, 공정성 감사는 확신에 찬 제로 효과( $PSE|_{\cdot}| = 0$ )를 보고하게 되는데, 이는 실제로 공정한 모델이 내놓는 결과와 구별할 수 없다. 이는 구조적 누락이 공정함으로 위장하는 "가짜-클린(false-clean)" 인증을 만들어낸다.

2. 방법론: GoT-CD

저자들은 인과 발견을 국소적 쿼리(pairwise queries)의 시퀀스가 아닌 전체 그래프 추론 문제로 재구성하는 방법론인 GoT-CD(Graph-of-Thoughts Causal Discovery)를 소개한다. 쌍별 접근 방식(변수 쌍을 쿼리함)이나 순회 접근 방식(노드를 순차적으로 확장함)과 달리, GoT-CD는 추론 단위를 완전한 후보 에지 집합으로 취급한다.

GoT-CD 파이프라인은 단일 패스의 '연산 그래프(Graph of Operations)'를 실행한다:

생성(Generate): LLM에 변수 이름, 설명, 도메인 서문을 프롬프트로 제공하여 $k$ 개의 서로 다른 후보 그래프(에지 집합)를 병렬로 생성한다.
점수 산정(Score): 결정론적인 비-LLM 유효성 함수를 사용하여 후보들을 점수화한다. 이 함수는 선언되지 않은 변수와 셀프 루프를 처벌하고, 잘 형성된 에지에 보상을 주며, 소프트 밀도 사전 확률(soft density prior)을 적용하고, 무방향성(acyclicity)에 보너스를 부여한다.
최적 후보 유지(KeepBestN): 상위 $N$ 개의 후보(통상 $N=2$ )를 유지한다.
집계(Aggregate): 유지된 후보들을 하드 유니온 제약(hard union constraint) 하에 병합한다. 모델은 입력된 후보 중 적어도 하나에 등장한 에지만 출력하도록 지시받는다. 이는 모델이 추론 브랜치에서 제안하지 않은 "그럴듯해 보이는" 에지를 합성하는 것을 방지한다.
개선(Improve): 병합된 그래프를 정교화한다. 모델은 이미 수용된 핵심 구조와 사이클을 형성하지 않는 경우에만 새로운 에지를 도입할 수 있다.
탐욕적 투영(Greedy Projection): 최종적인 결정론적 단계로서, 에지를 순회하며 이전에 유지된 에지들과 유향 사이클을 형성하지 않는 경우에만 에지를 유지함으로써 무방향성(acyclicity)을 강제한다. 이를 통해 출력은 항상 유향 비순환 그래프(DAG)가 된다.

이 방법은 $n=100$ 의 관측치와 gpt-4o-mini 백본을 사용하는 잠금 프로토콜(locked protocol)을 사용한다.

3. 주요 기여

본 논문의 세 가지 주요 기여는 다음과 같다:

GoT-CD 알고리즘: 추론 단위를 완전한 후보 에지 집합으로 하며, 병렬 생성, 결정론적 점수 산정, 그리고 에지 발명을 방지하기 위한 하드 유니온 제약을 활용하는 인과 발견 방법론이다.
포괄적 벤치마킹: 네 가지 고전적 베이스라인(PC, GES, NOTEARS, DAGMA-linear) 및 세 가지 LLM 베이스라인(Pairwise, LLM-BFS, GoT-CD-BFS)을 다섯 가지 벤치마크(Asia, Child, Alzheimer's, COVID-Respiratory, Sweden-Traffic)를 통해 비교하였다.
사후 경로 특이적 공정성 감사: 구조적 F1뿐만 아니라, 특정 $S \to Y$ 경로의 문자 그대로의 복구 여부를 점수화하기 위해 Alzheimer's 벤치마크에 적용된 평가 프레임워크이다.

4. 결과

잠금된 $n=100$ 프로토콜 하에서:

구조적 성능: GoT-CD는 다섯 가지 벤치마크 모두에서 유효한 DAG를 생성한다. Asia (0.750), Alzheimer's (0.757), COVID-Respiratory (0.688)에서 LLM 방법론 중 최고의 DAG 유효 F1을 달ages하며, 5개 데이터셋 중 4개에서 LLM-BFS보다 우수한 성능을 보인다. 고전적 방법론과도 경쟁력을 보이지만, 연속적 완화(continuous-relaxation) 방법론(NOTEARS, DAGMA)은 선형-가우시안 데이터인 Sweden-Traffic에서 우위를 점한다.
DAG 유효성: PC(모든 데이터셋에서 순환 발생) 및 GES(네 개 데이터셋에서 순환 발생)와 달리, GoT-CD(및 GoT-CD-BFS)는 일관되게 DAG를 반환하여 공정성 분석 전의 휴리스틱한 사이클 제거 과정이 필요하지 않다.
공정성 충실도 (Alzheimer's 벤치마크):
- GoT-CD: 올바른 효과 부호( $TE_{lin} = -0.580$ vs. 벤치마크 $-0.572$)와 함께 실제 불공정 경로를 복구하며 구조적 F1에서 선두를 달린다.
- LLM-BFS: 경쟁력 있는 구조적 F1(0.649)에도 불구하고, $S \to Y$ 경로를 전혀 복구하지 못한다. 결과적으로 $PSE|_{\cdot}| = 0$ 을 보고하며, 가짜-클린 공정성 인증을 생성한다.
- GES: 불공정 경로를 복구하지만, 8개의 추가적인 가짜 경로로 인해 총 경로 질량(total path mass)을 7배 이상 부풀린다 ( $PSE|_{\cdot}| = 4.034$ ).
- 기타 방법론: PC, NOTEARS, DAGMA-linear, GoT-CD-BFS는 모두 $S \to Y$ 경로를 복구하는 데 실패하며 제로 효과를 보고한다.

5. 의의 및 주장

본 논문은 구조적 충실도가 공정성 충실도를 보장하지 않는다고 주장한다. 어떤 방법론은 구조적으로 정확할 수 있으나(높은 F1), 공정성 감사에 필요한 특정 에지를 복구하는 데 실패하여 확신에 차 있지만 잘못된 "공정함" 결론을 내릴 수 있다.

저자들은 인과 발견을 공정성 파이프라인에 연결하는 과정은 반드시 다음을 수행해야 한다고 주장한다:

경로 복구 보고: 공정성 추정치와 함께, 파이프라인은 핵심적인 $S \to Y$ 하위 구조가 복구되었는지 여부를 명시적으로 보고해야 한다.
발견 메트릭의 재평가: 공정성 파이프라인을 위한 발견 방법론은 단순히 집계된 구조적 일치도가 아니라, 다운스트림 분석이 의존하는 에지를 기준으로 평가되어야 한다.
전역적 추론 활용: 결과는 전역적 추론(GoT)이 로컬 순회(BFS)나 쌍별 쿼리보다 공정성 관련 구조를 보존하는 데 우월함을 시사한다. 이는 쌍별 방식의 "에지 범람(edge flooding)"이나 순회 방식의 "돌이킬 수 없는 오류 전파(irrevocable error propagation)"를 피할 수 있기 때문이다.

결론적으로, LLM 사전 지식은 지식 집약적이고 압축적인 그래프(Alzheimer's 등)에서는 효과적이지만, 통계적 방법론(선형-가우시안 데이터에 탁월함)을 대체하는 것이 아니라 보완하는 관계이며, 향후 연구는 점수 기반(score-guided) 변형 및 공정성 인식 발견 목적 함수를 탐구해야 한다.