🤖 AI

A Systems Thinking Approach to Algorithmic Fairness

이 논문은 시스템 사고를 활용하여 알고리즘 공정성 문제를 모델링하고, 기계 학습·인과 추론·시스템 역학을 결합해 다양한 공정성 정책 간의 복잡한 트레이드오프를 분석함으로써 정치적 이해관계와 사회적 민주적 가치를 모두 반영한 AI 정책 설계의 기초를 마련하는 방안을 제시합니다.

원저자: Chris Lam

게시일 2026-04-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chris Lam

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"AI(인공지능) 가 공정한지 판단할 때, 단순히 숫자만 보는 게 아니라 '시스템' 전체를 바라봐야 한다"**는 매우 흥미로운 주장을 펼치고 있습니다.

저자 크리스 램은 기존의 기술적 접근법이 실패한 이유를 지적하며, **시스템 사고 (Systems Thinking)**라는 렌즈를 통해 AI 의 공정성 문제를 해결하자고 제안합니다.

이 복잡한 논문을 일반인도 쉽게 이해할 수 있도록 세 가지 핵심 비유로 정리해 드립니다.

1. 왜 기존 방식은 실패했을까? (블랙박스 vs. 지도)

기존의 AI 연구자들은 AI 가 어떻게 결정을 내리는지 알 수 없는 '블랙박스 (Black Box)' 안에만 집중했습니다. 마치 미스터리한 기계가 입력을 받아 출력을 내는데, 그 내부 작동 원리는 모른 채 결과만 보고 "이게 공정한가?"를争论하는 것과 같습니다.

하지만 이 논문은 **"블랙박스 밖을 보자"**고 말합니다.

비유: 병원을 갔을 때, 의사에게 "약만 주세요"라고 하는 게 아니라, **"왜 이 환자가 아픈지, 생활 습관, 환경, 유전자가 어떻게 작용했는지"**를 먼저 파악해야 한다는 것과 같습니다.
핵심: AI 의 편향은 데이터 자체에 있을 수도 있지만, 그 데이터를 만든 사회적 구조나 인간의 결정 과정에 있을 수도 있습니다. 우리는 그 '원인'을 찾아야 합니다.

2. 세 가지 렌즈로 세상을 바라보기

저자는 AI 공정성을 이해하기 위해 세 가지 다른 '렌즈'를 동시에 사용해야 한다고 말합니다.

렌즈 1: 기계 학습 (Machine Learning) = 카메라

역할: 현재 상황을 찍는 사진입니다. 과거의 데이터를 바탕으로 미래를 예측합니다.
한계: 카메라는 과거의 편견을 그대로 찍을 뿐, 그 편견이 왜 생겼는지 설명하지 못합니다.

렌즈 2: 인과 추론 (Causal Inference) = 수술실

역할: "만약 A 를 제거하면 B 가 어떻게 변할까?"를 실험하는 곳입니다.
비유: 요리사에게 "이 요리에 소금이 너무 많아서 맛이 없다"고 했을 때, 단순히 소금을 덜어내는 게 아니라 **"소금 대신 어떤 재료를 넣어야 원래 맛을 살릴 수 있을까?"**를 고민하는 단계입니다.
효과: 인과관계를 통해 "어디서부터가 차별인가?"를 정확히 찾아낼 수 있습니다.

렌즈 3: 시스템 역학 (System Dynamics) = 시간이 흐르는 강

역할: 가장 중요한 부분입니다. AI 가 내린 결정이 다시 사회에 영향을 주고, 그 결과가 다시 AI 의 데이터로 돌아오는 순환 고리를 봅니다.
비유:
- 악순환의 고리: 가난한 동네에 대출을 안 해주는 AI → 그 동네는 더 가난해짐 → 미래 데이터도 '가난한 동네'로 기록됨 → AI 는 더 대출을 안 해줌. (이게 바로 시스템 사고가 필요한 부분입니다.)
- 의존성 (Addiction): 가난한 사람을 돕기 위해 AI 가 무조건 대출을 승인해주면 (외부 개입), 그 사람들은 스스로 능력을 키우려 하지 않고 AI 에만 의존하게 됩니다. 결국 장기적으로는 더 나빠질 수 있습니다.

3. 정치인과 법조인이 이걸 왜 알아야 할까? (공정성의 두 얼굴)

이 논문은 "공정함"이라는 말이 사람마다 다르게 해석된다는 점을 아주 재미있게 설명합니다.

보수주의자 (Right-wing) 의 시각: "데이터에서 인종이나 성별 정보를 지우면 (무시하면) 공정한 거야."
- 비유: "시험지 이름 칸을 가리면, 누가 찍었는지 모르고 점수만 보고 채점하면 공정한 거지."
- 문제: 과거에 불공정해서 성적이 낮았던 사람들은 여전히 불이익을 받습니다. (숨겨진 차별)
진보주의자 (Left-wing) 의 시각: "불공정한 과거를 바로잡기 위해 인종 정보를 이용해 보정해야 해."
- 비유: "과거에 불리했던 사람에게 점수를 더 줘서 균형을 맞춰야 해."
- 문제: 역차별이 생길 수 있고, 장기적으로 그 사람들이 스스로 성장할 기회를 잃을 수 있습니다.

저자는 이 두 가지 관점을 시스템 다이어그램으로 그려보면, 서로 다른 **인과관계 (원인과 결과)**를 가정하고 있다는 것을 보여줍니다. 즉, **"누가 옳은가?"**를 따지기 전에, **"우리가 어떤 가정을 하고 있는가?"**를 먼저 정의해야 합니다.

4. 결론: 새로운 지도를 그리다

이 논문은 AI 공정성 문제를 해결하기 위해 **기술자, 정치인, 법조인이 같은 언어로 대화할 수 있는 '공통 지도'**를 제안합니다.

기술자는 AI 모델을 만들고,
법조인은 차별 여부를 판단하고,
정치인은 정책을 세울 때,
이 세 사람이 **"우리가 지금 어떤 시스템 (악순환 고리) 을 만들고 있는지"**를 함께 볼 수 있어야 합니다.

한 줄 요약:

"AI 가 공정한지 판단하려면, 단순히 코드를 고치는 게 아니라 **그 AI 가 만들어내는 사회적 순환 고리 (선순환 vs 악순환)**를 이해하고, 정치와 법이 그 고리를 어떻게 끊거나 연결할지 함께 고민해야 합니다."

이처럼 시스템 사고는 AI 를 단순한 '기술'이 아니라, 우리 사회의 거대한 생태계의 일부로 바라보게 해줍니다.

논문 요약: 시스템 사고를 통한 알고리즘 공정성 접근

저자: Chris Lam (Epistamai)
핵심 주제: 기계 학습 (ML), 인과 추론 (Causal Inference), 시스템 역학 (System Dynamics) 을 통합하여 알고리즘 공정성 문제를 모델링하는 새로운 프레임워크 제시.

1. 문제 정의 (Problem)

기존의 알고리즘 공정성 연구는 주로 통계적 상관관계에 의존하거나, 인과 관계 (Causality) 를 기반으로 한 단일 접근법 (주로 Pearl 의 인과적 베이지안 네트워크) 에 국한되어 있었습니다. 이러한 접근법들은 다음과 같은 한계가 있었습니다:

사회적, 정치적 맥락 부재: 공정성에 대한 다양한 이념적 신념 (예: 편향이 데이터 생성 과정의 내부 요인인지 외부 요인인지에 대한 관점) 을 인과 모델에 통합하지 못함.
동적 피드백 루프의 무시: 인과적 베이지안 네트워크 (CBN) 는 방향성 비순환 그래프 (DAG) 만을 허용하므로, 결정이 미래 데이터에 영향을 미치고 다시 결정에 반영되는 시간적 피드백 루프 (Feedback Loops) 를 모델링할 수 없음.
정책과 법의 연결 부재: 기술적 공정성 정의와 법적 정의 (차별 대우, 불평등한 영향 등) 및 정치적 이념 간의 간극을 메우지 못함.

2. 방법론 (Methodology)

저자는 시스템 사고 (Systems Thinking) 를 도입하여 기계 학습, 인과 추론, 시스템 역학을 통합한 3 단계 모델링 접근법을 제시합니다.

3 가지 표현 기법:
1. 블록 다이어그램 (Machine Learning): 블랙박스 ML 모델의 입력 ( $X$ ) 과 출력 ( $D$ ), 결과 ( $Y$ ) 간의 기본 흐름을 시각화.
2. 인과적 베이지안 네트워크 (Causal Inference): Pearl 의 CBN 을 활용하여 보호 속성 ( $A$ ), 중개 변수 ( $W$ ), 데이터 ( $X$ ), 결정 ( $D$ ), 결과 ( $Y$ ) 간의 인과 관계를 인과적 템플릿으로 인코딩. 편향의 위치 (내부/외부 귀인) 에 따라 다양한 공정성/차별 시나리오를 모델링.
3. 인과 루프 다이어그램 (System Dynamics): 피드백 루프를 포함하여 시간의 흐름에 따른 시스템의 역동적 행동 (예: "성공한 자의 성공", "한계", "책임 전가/중독" 아키텍처) 을 모델링.
통합 프레임워크:
- 사회과학적 기초: 자유 의지, 주체성 (Agency), 귀인 이론 (Attribution Theory) 등을 기반으로 편향의 원인을 내부적 (개인적 책임) 또는 외부적 (구조적 차별) 으로 해석하는 다양한 정치적 관점 (좌파 vs 우파) 을 인과 그래프로 매핑.
- 새로운 인과 계층 구조 (Causal Hierarchy): Pearl 의 기존 계층 구조를 확장하여, Supervised ML(연관성), Causal Inference(개입/반사실), System Dynamics(순환적 인과) 를 통합한 3 층 구조를 제안.

3. 주요 기여 (Key Contributions)

공정성과 차별의 인과적 매핑:
- 공정성 유형: 무관심에 의한 공정성 (Unawareness), 긍정적 조치 (Affirmative Action), 추첨에 의한 공정성 (Lottery), 우월주의에 의한 공정성 (Supremacism) 등을 CBN 으로 정의.
- 차별 유형: 노골적 차별 (Overt), 은밀한 차별 (Covert), 역차별 (Reverse), "무" 차별 ("No" discrimination) 을 정의.
- 정치적 스펙트럼 연결: 각 공정성/차별 유형을 정치적 성향 (좌파, 우파, 극좌, 극우) 및 법적 개념 (미국: 차별적 대우/영향, EU: 직접/간접 차별) 과 매핑하여 정책 입안자가 자신의 이념에 맞는 공정한 AI 정책을 설계할 수 있는 틀을 제공.
시스템 역학을 통한 역동적 편향 분석:
- 피드백 루프 모델링: CBN 의 한계를 극복하고, 결정이 미래 데이터 ( $X$ ) 와 결과 ( $Y$ ) 에 영향을 미치는 순환적 구조를 CLD 로 모델링.
- 시스템 아키텍처 적용:
  - Success to the successful: 초기 우위가 누적되어 불평등이 심화되는 악순환.
  - Limits to success: 성장의 한계로 인한 불평등 완화.
  - Shifting the burden / Addiction: 외부 개입 (긍정적 조치 등) 이 단기적으로는 불평등을 해소하지만, 장기적으로는 해당 집단의 자생력을 약화시키고 외부 개입에 대한 의존성을 만들어 불평등을 악화시킬 수 있음을 보여줌.
규범적 (Normative) vs 긍정적 (Positive) 효과의 구분:
- 규범적 효과: "무엇이 되어야 하는가 (Ought)"에 초점. 편향의 위치에 대한 신념에 따라 공정성 판단이 달라짐.
- 긍정적 효과: "무엇이 일어나는가 (Is)"에 초점. 단기적 vs 장기적 관점에서 정책의 실제 결과를 분석. (예: 긍정적 조치는 단기적으로는 불평등을 줄이지만, 장기적으로는 '책임 전가' 아키텍처로 인해 역효과를 낼 수 있음).
새로운 인과 계층 구조 제안:
- 기존 Pearl 의 계층 구조를 확장하여, ML(예측), 인과 추론(통제), 시스템 역학(시뮬레이션) 을 각각 최적화된 계층으로 정의하고 이를 통합한 새로운 계층 구조를 제시.

4. 결과 및 시사점 (Results & Implications)

이념적 합의 도출: 기술적 접근만으로는 해결할 수 없는 정치적 논쟁 (예: 긍정적 조치의 정당성) 을 인과 모델링을 통해 시각화하고, 서로 다른 정치적 입장이 어떻게 다른 공정성 정의와 법적 해석으로 이어지는지 설명 가능.
법적 준수 도구: CBN 과 CLD 를 사용하여 기업이 차별 금지 법규 (Disparate Treatment/Impact) 를 준수하는지 분석하고, 규제 기관과 데이터 과학자 간의 공통 언어 (Common Causal Language) 를 제공.
예상치 못한 결과 예측: 시스템 역학을 통해 특정 공정성 정책 (예: 무관심에 의한 공정성) 이 장기적으로 어떻게 불평등을 고착화하거나, 긍정적 조치가 어떻게 역설적으로 장기적 성과를 저해할 수 있는지 (Addiction archetype) 를 예측.
사회 - 기술적 시스템 (Sociotechnical System) 접근: 알고리즘 공정성이 단순히 기술적 문제가 아니라, 사회 구조, 정치, 법, 심리가 얽힌 복잡한 시스템 문제임을 강조.

5. 의의 (Significance)

이 논문은 알고리즘 공정성 연구에 시스템 사고를 도입함으로써 다음과 같은 혁신을 가져왔습니다:

다학제적 통합: 컴퓨터 과학, 사회학, 정치학, 법학을 하나의 인과적 프레임워크로 통합하여, AI 정책이 민주적 가치와 정치적 의제에 부합하도록 설계할 수 있는 기반을 마련.
동적 모델링의 부재 해소: 정적인 인과 모델의 한계를 넘어, 시간에 따른 피드백 루프를 고려한 동적 공정성 모델링을 가능하게 함.
실용적 가이드라인 제공: 정책 입안자, 기업, 규제 기관이 복잡한 공정성 트레이드오프를 이해하고, 법적 리스크를 줄이며, 투명하고 신뢰할 수 있는 AI 시스템을 구축할 수 있는 구체적인 방법론을 제시.

결론적으로, 이 연구는 "블랙박스 내부"의 기술적 최적화뿐만 아니라, "블랙박스 외부"의 인과적, 사회적, 정치적 맥락을 이해함으로써 보다 포괄적이고 현실적인 알고리즘 공정성 해결책을 모색합니다.