🤖 machine learning

The Role of Causality in Algorithmic Recourse

이 논문은 권장된 조치들이 구조적 인과 모델을 통해 어떻게 전파되는지를 모델링함으로써 실질적인 자격 개선을 보장하고, 이를 통해 전략적 게임화를 방지하며 반복적인 모델 재학습의 필요성을 줄이는 알고리즘적 구제(algorithmic recourse)를 위한 인과적 수행적 프레임워크를 소개한다.

원저자: Srikanth Avasarala, Varun Gupta, Shahin Jabbari, Saber Salehkaleybar, Juba Ziani

게시일 2026-07-31

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Srikanth Avasarala, Varun Gupta, Shahin Jabbari, Saber Salehkaleybar, Juba Ziani

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 비디오 게임을 플레이하고 있다고 상상해 보세요. 보이지 않는 심판(알고리즘)이 당신의 캐릭터 능력치를 보고 승패를 결정합니다. 가끔 게임은 이렇게 말하죠. "이봐, 힘 수치를 +5만 더 올리면 이 레벨을 통과할 수 있어!" 이것이 바로 **알고‌리즘적 구제(algorithmic recourse)**의 세계입니다. 즉, 컴퓨터가 '아니오'라고 답했을 때(대출이나 취업 등에서), 상황을 반전시키기 위해 개선할 수 있는 명확하고 실행 가능한 체크리스트를 제공하는 것이죠. 하지만 여기 함정이 있습니다. 만약 이 게임이 조작되었다면 어떨까요? 만약 당신에게 높이라고 권고받은 '힘' 수치가 사실은 심판을 속이기 위한 가짜 숫자일 뿐이고, 당신의 실제 레벨 생존 능력은 그대로라면 어떨까요? 이것이 바로 **시스템 속이기(gaming the system)**의 문제입니다.

또한, 당신이 능력치를 바꿀 때마다 심판이 당신의 새로운 모습에 맞춰 게임의 규칙을 실제로 바꾼다고 상상해 보세요. 이것은 **수행적 예측(performative prediction)**이라고 불립니다. 이는 당신이 발걸음을 내디딜 때마다 음악이 바뀌는 춤과 같아서, 안정적인 리듬을 찾기가 매우 어렵게 만듭니다. 만약 심판이 당신의 개선 시도에 따라 계속해서 규칙을 바꾼다면, 게임은 혼란스러워지고 당신에게 주어진 조언은 더 이상 효과가 없게 됩니다. 이 논문은 수학과 인간의 행동이 만나는 컴퓨터 과학의 특정 영역을 깊이 파고듭니다. 즉, 컴퓨터가 우리의 움직임을 지켜보고 반응하고 있을 때, 어떻게 하면 사람들을 단순히 시스템을 속이는 것이 아니라 실제로 더 나은 상태로 만드는 조언을 줄 수 있을 것인가를 묻습니다.

"가짜" 해결책의 함정

대출 여부를 결정하는 은행이나 채용 여부를 결정하는 기업처럼, 고도의 이해관계가 걸린 결정의 세계에서는 종종 기계가 결정을 내립니다. 기계가 신청을 거절했을 때, "이런 변화를 하면 결과가 '아니오'에서 '예'로 바뀔 것입니다"라는 식의 '구제(recourse)' 계획을 받는 것은 도움이 됩니다. 예를 들어, "부채 500달러를 갚으면 승인될 것입니다"와 같은 식이죠.

하지만 여기 교활한 문제가 있습니다. 현재 대부분의 방법은 단순히 기계의 수학적 계산만을 바라봅니다. 그들은 "특성 X를 바꾸면 기계의 점수가 올라간다"라고 말합니다. 하지만 그 변화가 실제로 당신을 더 나은 대출자나 더 유능한 직원으로 만드는지는 상관하지 않습니다. 당신은 시스템을 '속이고' 있는 것일 수도 있습니다. 예를 들어, 신용 점수를 높이기 위해 가짜 신용카드 계좌를 열 개나 만드는 상황을 상상해 보세요. 기계는 높아진 숫자를 보고 "예!"라고 답할 것입니다. 하지만 당신은 실제로 재정적으로 더 책임감 있는 사람이 된 것이 아니라, 단지 계산기를 속였을 뿐입니다.

사람들이 이렇게 하기 시작하면 기계는 혼란에 빠집니다. 기계는 돈을 갚을 능력이 없는 사람들이 높은 점수를 가진 것을 목격하게 됩니다. 그러면 기계의 예측은 쓸모없어집니다. 결국 은행은 새로운 규칙으로 기계를 다시 학습시켜야 합니다. 하지만 이제 기존의 조언("가짜 카드를 만드세요")은 더 이상 작동하지 않습니다. 골대가 옮겨졌고, 조언은 깨져버렸습니다. 이는 해결책이 문제를 오히려 악화시키는 악순고리가 됩니다.

인과적 나침반 (The Causal Compass)

이 논문은 **인과관계(causality)**를 사용하여 이 문제에 대한 새로운 사고방식을 제시합니다. 저자들은 단순히 숫자만을 보는 대신, "무엇이 실제로 결과를 '유발'하는가?"라고 묻습니다.

당신의 특성들(소득, 부채, 교육 등)을 하나의 파이프 네트워크라고 생각해 보세요. 만약 당신이 한 파이프에 물을 부으면(개입), 그 물은 네트워크를 통해 흘러가 다른 파이프들의 수위도 변화시킵니다.

기존 방식: "파이프 A에 물을 늘리면, 기계는 탱크가 가득 찼다고 생각할 것이다." 이는 파이프 A가 실제로 중요한 파이프 B로 물을 흘려보내고 있다는 사실을 무시합니다.
새로운 방식 (인과적): "파이프 A에 물을 부으면, 물은 파이프를 타고 흘러가서 실제로 탱크를 채울 것이다."

저자들은 이러한 파이프들을 지도화하는 모델(구조적 인과 모델, Structural Causal Model)을 구축합니다. 그들은 한 가지를 바꾸는 것(예: 직업을 갖는 것)이 자연스럽게 다른 변화(예: 저축액 증가)를 일으킬 수 있음을 이해합니다. 그들은 이 지도를 사용하여 어떤 행동이 단순히 점수만을 높이는 것이 아니라, 사람의 진정한 자격을 실제로 향상시킬지를 파악합니다.

알고리즘의 춤

여기서 상황은 매우 까다로워집니다. 논문은 이 전체 상황을 학습자(Learner)(모델을 만드는 은행)와 에이전트(Agents)(대출을 신청하는 사람들) 사이의 춤으로 다룹니다.

학습자가 규칙을 설정합니다.
에이전트들은 규칙을 통과하기 위해 자신의 특성을 바꾸려고 노력합니다.
인과적 연결 관계 때문에, 그들의 변화는 데이터의 지형 전체를 변화시킵니다.
학습자는 이 새로운 지형을 보고 규칙을 업데이트해야 합니다.

저자들은 만약 인과적 연결을 무시한다면 이 춤이 엉망이 될 것이라고 설명합니다. 수학적으로는 "비볼록(non-convex)"해지는데, 이는 해결책을 찾는 경로가 온통 굴곡과 막다른 길로 가득 차서 표준적인 수학 도구로는 길을 찾을 수 없다는 뜻입니다. 이는 마치 계속해서 모양을 바꾸며 움직이는 골짜기의 바닥을 찾는 것과 같습니다.

그러나 논문은 인과 구조를 고려한다면 **안정적인 솔루션(stable solution)**을 찾을 수 있음을 증명합니다. 이는 학습자의 규칙과 에이전트의 행동이 일정한 리듬 속에 안착하는 지점입니다. 에이전트는 실질적인 개선을 이루고, 학습자의 모델은 정확성을 유지하며, 아무도 시스템을 속이지 않는 상태입니다.

연구 결과

연구진은 두 가지 유형의 데이터를 사용하여 아이디어를 테스트했습니다:

가상의 세계: 7가지 특성(연령, 교육, 소득 등)이 있는 가짜 대출 데이터셋을 만들고, 이들이 서로 어떻게 영향을 미치는지에 대한 특정 규칙을 프로그래밍했습니다.
실제 세계 데이터: 대만의 신용카드 고객 30,000명의 실제 데이터셋을 사용했습니다.

그들은 안정적인 솔루션을 찾기 위해 두 가지 주요 전략을 사용했습니다:

반복 위험 최소화 (Repeated Risk Minimization, RRM): 마치 선생님이 시험을 치르게 하고, 성적을 매기고, 수업 계획을 조정하고, 다시 시험을 치는 과정을 반복하여 학생과 선생님이 합의점에 도달하게 하는 과정과 같습니다.
반복 경사 하강법 (Repeated Gradient Descent, RGD): 위 과정의 약간 더 빠른 단계별 버전입니다.

결과:

수렴(Convergence): 시뮬레이션 결과, 이 방법들은 모델이 급격하게 변하지 않고 멈추는 안정적인 지점을 성공적으로 찾아냈습니다. 수학적으로 "속이기(gaming)"의 강도가 너무 강하지 않다면( $\kappa$ 라는 파라미터로 제어됨), 시스템은 안정될 것임을 보여주었습니다.
나이브(Naive) 접근법 압도: 인과관계를 무시하고 점수만을 보는 "나이브" 방식과 비교했을 때, 인과적 방법이 훨씬 뛰어났습니다. 에이전트들이 시스템을 속이려고 노력할수록 나이브 방식은 점점 더 악화되었지만, 인과적 방법은 모델의 정확성을 유지했습니다.
변화의 비용: 또한 특성을 바꾸는 데 드는 비용도 살펴보았습니다. 만약 "상류(upstream)" 특성(예: 학위 취득)을 바꾸는 것이 저렴하다면 에이전트들은 그것을 할 것입니다. 만약 "하류(downstream)" 특성(예: 저축)을 바꾸는 것이 저렴하다면 그들도 그것을 할 것입니다. 인과 모델은 이러한 비용이 시스템의 최종 결과에 어떻게 파급되어 영향을 미치는지 정확하게 예측했습니다.

핵심 요약

이 논문은 세상의 모든 문제를 해결했다고 주장하는 것이 아닙니다. 수학과 컴퓨터 시뮬레이션을 통해, 사물들이 실제로 어떻게 서로를 유발하는지를 무시하는 것은 잘못된 조언으로 이어진다는 것을 보여줍니다. 우리가 사람들에게 삶을 개선하기 위한 체크리스트를 줄 때, 그 체크리즘이 단지 화면상의 점수만을 높이는 것이 아니라 실제로 그들의 삶을 개선하도록 만들어야 합니다.

"인과적 지도"를 사용함으로써, 우리는 사람에게 주어지는 조언이 실질적이고 지속적인 개선으로 이어지는 시스템을 설계할 수 있습니다. 이는 사람들이 시스템을 속이려는 시도를 멈추게 하고, 기계의 예측을 정직하게 유지합니다. 이는 "움직이는 골대" 문제를 해결하고, AI의 결정이 공정하고 효과적이도록 만드는 데 필요한 단계입니다. 저자들은 이 접근 방식이 "움직이는 골대" 문제를 방지하고, AI 결정이 공정하고 효과적이도록 만드는 필수적인 단계라고 제안합니다.

기술 요약: 알고리즘적 구제(Algorithmic Recourse)에서 인과관계의 역할

문제 정의

알고리즘적 구제는 고위험 설정(예: 대출 승인)에서 예측된 결과를 개선하기 위해 개인에게 실행 가능한 권고 사항을 제공하는 것을 목표로 한다. 그러나 기존 방식은 단순히 배포된 모델의 예측을 바꾸는 데에만 최적화할 뿐, 권고된 행동이 에이전트의 실제 자격 요건을 진정으로 개선하는지, 아니면 단순히 시스템을 '게임(gaming)'하는 것인지는 무시한다. 이러한 불일치는 에이전트가 실제 능력을 개선하지 않고도 더 높은 점수를 얻기 위해 비인과적 특징을 조작하는 전략적 행동(예: 유령 신용카드 개설)을 유발할 수 있다. 결과적으로 배포된 모델은 시간이 지남에 따라 정확도가 떨어지며, 이는 반복적인 재학습을 필요로 하고 구제 권고를 '움직이는 골대(moving goalposts)'로 만들어 효과를 없게 만든다.

본 논문은 인과관계를 구제 프레임워크에 명시적으로 통합함으로써, 구제 정책이 게임 행위를 조장하는 실패 모드를 해결한다. 핵심 과제는 예측 모델과 구제 정책을 공동 설계하여, 권고된 행동이 데이터 분포를 변화시킨다는 점을 고려하면서도 의미 있는 개선을 촉진하고 예측 정확도를 유지하는 것이다.

방법론

인과적 수행적 프레임워크 (Causal Performative Framework)

저자들은 구조적 인과 모델(SCM)을 사용하여 학습자와 전략적 에이전트 사이의 상호작용을 정형화한다.

특징 공간: 에이전트는 특징 $x \in \mathbb{R}^d$ 와 실제 레이블 $y$ 를 보유한다.
인과 구조: 의존성은 유향 비순환 그래프(DAG) $G=(V, E, \omega)$ 를 통해 모델링된다. 한 특징에 대한 개입은 그래프를 통해 전파되어 다운스트림 특징과 실제 레이블에 영향을 미친다.
개입 전파: 개입 벡터 $a$ 는 특징 변화 $\Delta x(a) = G_x^\top a$ 와 레이블 변화 $\Delta y(a) = G_y^\top a$ 를 유도하며, 여기서 $G_x$ 와 $G_y$ 는 인과 그래프에서 유도된 기여 행렬이다.
에이전트 반응: 에이전트는 효용을 극대화하기 위해 구제 행동 $a^*$ 를 선택한다: $w^\top(x + \Delta x(a)) - \frac{1}{\kappa}c(a)$ . 여기서 $c(a)$ 는 개입 비용이며, $\kappa$ 는 개입 강도를 제어한다. 이차 비용(quadratic costs) 하에서, 이는 $a^* = \frac{\kappa}{2} C^{-1} G_x w$ 라는 폐쇄형 해(closed-form solution)를 갖는다.

수행적 예측 정식화 (Performative Prediction Formulation)

학습 문제는 모델 $w$ 가 에이전트의 반응을 통해 데이터 분포 $D_w$ 에 영향을 미치는 수행적 예측(performative prediction)으로 프레임화된다.

목적: 학습자는 유도된 분포 하에서의 기대 손실을 최소화하고자 한다: $\min_w \mathbb{E}_{(x,y) \sim D_w} [\ell(w^\top x, y)]$ .
비볼록성(Non-Convexity): 볼록한 손실 함수와 이차 비용을 사용하는 경우에도, 모델과 유도된 분포 사이의 피드백 루프로 인해 발생하는 결과적인 최적화 문제는 일반적으로 **비볼록(non-convex)**하다.
안정성 vs 최적성: 본 논문은 수행적으로 안정적인 해( $w_s$ )를 찾는 데 집중한다. 이는 $w_s$ 에 의해 유도된 분포로 재학습했을 때 다시 $w_s$ 가 도출되는 고정점(fixed points)으로 정의된다. 이는 수행적 최적해( $w^*$ )와는 다르지만 그와 유사하다.

알고리즘

안정적인 해를 계산하기 위해 두 가지 반복 알고리즘이 제안된다.

반복 위험 최소화 (Repeated Risk Minimization, RRM): 각 반복 단계에서 학습자는 샘플을 수집하고, 인과적 반응 모델을 적용하여 유도된 데이터셋을 생성한 뒤, 이 새로운 데이터셋에서 모델을 재학습시킨다.
반복 경사 하강법 (Repeated Gradient Descent, RGD): 학습자가 매 반복마다 유도된 데이터셋의 경험적 목적 함수에 대해 단일 경사 하강 단계를 수행하는 경사 기반 근사 방식이다.

이론적 보장

저자들은 RRM과 RGD가 안정적인 해로 수렴하기 위한 조건을 확립한다. 수렴은 인과 전파 행렬( $G_x, G_y$ )과 비용 행렬( $C$ )에 의존하는 파라미터 $\kappa \Lambda$ 에 의해 결정되는 **수행적 민감도(performative sensitivity)**에 달려 있다.

개입 강도 $\kappa$ 가 손실 함수의 강볼록성(strong convexity) 및 매끄러움(smoothness) 상수와 비교하여 충분히 작으면, 알고리즘은 안정적인 점으로 수렴한다.
안정적인 해는 특정 조건 하에서 최적해( $w^*$ )에 근접함이 입증되었다.

주요 기여

인과적 수행적 프레임워크: 구제 개입을 구조적 인과 모델을 통해 전파되는 것으로 모델링하여, 특징과 실제 레이블에 대한 직접적 및 간접적 효과를 모두 포착하는 프레임워크를 도입하였다.
수행적 예측으로서의 정식화: 인과적 구제 문제를 수행적 예측 문제로 규정하고, 전략적 반응으로 인해 발생하는 비볼록성 때문에 표준적인 볼록 최적화 기법이 실패함을 입증하였다.
알고리즘 솔루션: 수행적으로 안정적인 구제 정책을 계산하기 위한 RRM 및 RGD 알고리즘과 공식적인 수렴 보장을 개발하였다.
실증적 검증: 반합성(semi-synthetic) 및 실제 신용 데이터셋에 대한 실험을 통해, 인과적 반응을 고려하는 것이 게임 행위를 줄이고 예측 성능을 향상시킨다는 것을 보여주었다.

실험 결과

저자들은 다음 데이터셋을 통해 프레임워크를 평가하였다:

알려진 SCM으로부터 생성된 7차원 반합성 대출 데이터셋.
회귀 분석을 통해 추정된 인과 그래프를 포함하여 6개의 특징으로 집계된 대만 신용카드 데이터셋.

주요 결과:

수렴성: RRM과 RGD 모두 안정적인 해로 수집된다. RRM은 작은 $\kappa$ 에 대해 빠르게 수렴하지만, 큰 $\kappa$ 에 대해서는 수렴에 실패할 수 있다(이론적 경계와 일치함). 반면 RGD는 일관된 단조 감소를 보인다.
수행적 개선: 수행성 파라미터 $\kappa$ (강한 전략적 적응)가 증가함에 따라, 나이브한 기대 위험 최소화(ERM) 베이스라인과 제안된 안정적/최적 모델 간의 성능 격차가 벌어진다. 제안된 방법은 수행적 목적 함수 측면에서 나이브한 ERM보다 성능이 현저히 뛰어나다.
인과적 전파: 실험 결과, 개입 비용은 에이전트가 어디에서 행동할지를 결정하지만, 인과 그래프는 그 행동이 어떻게 전파될지를 결정한다. 하위 특징의 개입 비용이 무한대(불변)인 경우에도, 상위 특징의 개입이 인과 구조를 통해 전파됨에 따라 하위 특징은 크게 변한다. 이는 특징을 독립적으로 취급하는 대신 $G_x$ 를 모델링해야 하는 필요성을 강조한다.
강건성: 결과는 다양한 개입 비용 프로필(Uniform, Upstream-cheap, Downstream-cheap)에 대해 일관되게 나타난다.

의의 및 주장

본 논문은 알고리즘적 구제에서 인과 구조를 무시하는 것이 모델 정확도를 저하시키고 구제를 효과 없게 만드는 대규모의 불일치된 행동 반응을 초래한다고 주장한다. 반면, **인과적 구제(causal recourse)**는 게임 행위의 영향을 낮추는 평형 상태로 이어진다.

저자들은 자신의 연구가 전략적 분류(strategic classification)(강건한 모델 설계)와 알고리즘적 구제(실행 가능한 조언 제공) 사이의 간극을 메운다고 강조한다. 구제가 진정으로 효과적이고 지속 가능하려면, 개입이 단순히 모델의 예측뿐만 아니라 근저의 데이터 분포와 실제 레이벨을 어떻게 변화시키는지 고려해야 한다고 주장한다. 제안된 프레임워크는 조작보다는 진정한 개선을 장려하는 안정적인 정책을 계산하는 수학적으로 근거 있는 방법을 제공한다.

논문은 알려진 구조적 인과 모델에 접근할 수 있다고 가정한다는 점을 겸허히 언급하며, 인과 그래프를 구제 정책과 함께 공동으로 학습하거나 그래프의 불확실성을 다루는 것을 향후 연구 과제로 제시한다.