Retrofitters, pragmatists and activists: Public interest litigation for accountable automated decision-making

이 논문은 호주에서 인공지능과 자동화된 의사결정 (ADM) 에 대한 책임성을 확보하기 위해 기존 법률을 새로운 상황에 적용하는 '법적 리트로피팅' 전략으로서의 공익 소송의 역할, 전략적 실용성, 그리고 한계를 인터뷰와 분석을 통해 조명합니다.

핵심

이 논문은 **"자동화된 결정 시스템 **(AI)에 대해 이야기합니다.

간단히 말해, "법률이 아직 이 새로운 기술에 맞춰 업데이트되지 않았을 때, 어떻게 기존 법을 creatively(창의적으로) 활용해서 피해를 입은 사람들을 구하고 시스템을 고칠 것인가?"에 대한 실용적인 가이드북입니다.

이 복잡한 내용을 일상적인 비유와 함께 쉽게 설명해 드릴게요.

---

1. 배경: 왜 이 논문이 필요한가요? (레고 블록과 새로운 장난감)

想象해 보세요. 우리는 **'레고 블록 **(기존 법률)으로 집을 지어왔습니다. 그런데 갑자기 **'새로운 장난감 **(AI 와 자동화 시스템)이 등장해서 사람들을 해치고 있습니다.

• 문제점: 호주에서는 'Robodebt(로보부채)' 같은 시스템이 복지 수급자들에게 잘못된 빚을 떠안겨 수만 명을 고통스럽게 했습니다. 하지만 새로운 법을 만들려면 정치적인 싸움이 길고, 정부가 규제를 꺼리기도 합니다.
• 해결책: 새로운 법을 기다리는 동안, 우리는 **이미 있는 레고 블록 **(기존 법)을 어떻게든 조립해서 새로운 장난감의 문제를 해결해야 합니다. 이걸 논문에서는 **'레트로피팅 **(Retrofitting, 개조/적응)이라고 부릅니다.

2. 주인공들: 세 가지 역할

이 논문은 세 가지 유형의 사람들을 인터뷰했습니다.

1. **현실주의자 **(Pragmatists) "우선 당장 법을 써서 이길 수 있는 방법을 찾아보자"는 사람들. (예: 변호사들)
2. **활동가 **(Activists) "이건 시스템의 문제야, 법을 고쳐야 해"라고 외치는 사람들. (예: 시민 단체)
3. **리트로피터 **(Retrofitters) "오래된 법을 새로운 상황에 맞춰 개조해서 쓰는 기술자"들.

이들은 모두 **"공익 소송 **(Public Interest Litigation)이 중요한 도구라고 입을 모았습니다.

3. 핵심 전략: 어떻게 이길 수 있을까요?

논문은 성공적인 소송을 위한 몇 가지 '요리법'을 소개합니다.

🍳 비유 1: "레트로피팅 (Retrofitting)" - 낡은 옷을 새 스타일로

법률가들은 수백 년 전에 만들어진 '소유권 법'이나 '신용 위반 법' 같은 낡은 옷을 가져와서, AI 가 만든 새로운 피해를 입은 사람들의 몸에 맞게 재단합니다.

• 예시: 정부가 이민자들의 휴대폰을 강제로 뺏었을 때, '인권'이 없어서 못 막았지만, '소유권 법'을 끌어와서 "정부는 내 물건을 법 없이 뺏을 수 없다"고 주장하며 이긴 사례가 있습니다.

🧩 비유 2: "볼트온 (Bolt-ons)" - 메인 요리에 곁들임 추가하기

사건은 개인적인 손해배상 (메인 요리) 으로 시작하지만, 변호사들은 그 안에 **'공공의 이익 **(고향)을 추가합니다.

• 전략: "내 사건에서 이겨서 돈을 받아야 하지만, 동시에 이 판결이 미래의 AI 규제에 도움이 되도록 법리를 확장해 보자"는 식입니다. 개인 이익과 공공 이익을 동시에 잡는 '일석이조' 전략입니다.

💰 비유 3: "인센티브 맞추기" - 투자자를 설득하기

소송은 돈이 많이 듭니다. 그래서 변호사들은 **법적 배상금 **(돈)이 나오는 소송을 선호합니다.

• 전략: "이 소송을 지원하면 나중에 AI 관련 소송이 쏟아질 테니, 지금 투자해서 미래 수익을 노리자"라고 소송 자금 지원자 (Fund) 를 설득합니다.

4. 현실의 벽: 왜 여전히 어려운가요?

이론적으로는 좋지만, 현실에는 큰 장벽이 있습니다.

• **🧱 장벽 1: 법의 한계 **(인종차별 vs 실수)
  • 기존 차별법은 "악의적인 사람"을 잡는 데 특화되어 있습니다. 하지만 AI 는 "악의" 없이도 데이터를 통해 차별을 만듭니다. "컴퓨터가 실수했다"라고 변명하면 법이 무력해집니다.
• **🌪️ 장벽 2: 소송의 비용 **(시련의 과정)
  • 소송은 시간과 돈, 정신력을 다 갉아먹습니다. 특히 피해자가 이미 가난하거나 소외된 계층이라면, 소송 과정 자체가 '형벌'이 될 수 있습니다.
• **🌫️ 장벽 3: 투명성 부족 **(블랙박스)
  • AI 가 어떻게 결정을 내렸는지 알 수 없습니다. "컴퓨터가 그렇게 했어"라고만 하면, 피해자는 어떻게 반박해야 할지 모릅니다.

5. 필요한 것: 생태계를 만드는 것

이 논문은 소송 하나만으로는 부족하다고 말합니다. 마치 정원을 가꾸려면 물만 주는 게 아니라 토양, 햇빛, 비료 등 생태계 전체가 필요하듯, 소송도 다음과 같은 지원이 필요합니다.

1. **투명성 **(Transparency) AI 가 어떻게 작동하는지, 어떤 데이터를 썼는지 '종이 기록'이 남아야 합니다. 그래야 변호사들이 문제를 찾아낼 수 있습니다.
2. **네트워크 **(Networks) 피해자, 변호사, 연구자, 시민 단체가 정보를 공유할 수 있는 '커뮤니티'가 필요합니다.
3. **자금 지원 **(Funding) 소송 비용과 실패 시의 벌금 위험을 덜어주는 시스템이 필요합니다. (예: 영국처럼 공익 소송에서는 패배해도 상대방 변호사 비용을 내지 않게 하는 제도)

6. 결론: 소송은 '마지막 수단'이자 '시작점'

이 논문은 결론을 이렇게 내립니다.

"소송은 이미 일어난 피해를 치유하는 '마지막 보루'이지만, 동시에 더 큰 변화를 만드는 '시작점'이 될 수도 있습니다."

소송을 통해 AI 의 부당함을 세상에 알리고, 여론을 모으고, 결국 새로운 법 (규제) 을 만들어내는 것입니다.

한 줄 요약:

"새로운 AI 기술에 대한 완벽한 법이 없다면, 우리는 **기존 법을 창의적으로 개조 **(레트로피팅)하여 소송을 진행하고, 이를 통해 사회적 공감대를 형성해 궁극적으로 시스템을 고치는 것이 현재로서는 가장 현실적인 해결책입니다."

이 논문은 법조계, 활동가, 그리고 AI 로부터 피해를 입은 모든 사람에게 **"포기하지 말고,现有的인 도구를 잘 활용해서 싸워라"**는 용기와 전략을 제시합니다.

기술 요약

논문 요약: 자동화된 의사결정 (ADM) 에 대한 책임 확보를 위한 공익 소송의 역할

1. 문제 제기 (Problem)

• 배경: 전 세계적으로 정부 기관이 복지 혜택 감시, 범죄 예측, 금융 서비스 거부 등 다양한 분야에서 자동화된 의사결정 (ADM) 및 인공지능 (AI) 시스템을 도입하고 있습니다. 'Robodebt'(호주), 'SyRI'(네덜란드) 등 많은 시스템이 설계상의 결함과 법적 무시를 이유로 수만 명의 취약 계층에게 심각한 피해를 입혔습니다.
• 규제의 한계: ADM 에 대한 새로운 전용 규제 (예: EU 의 AI 법, 호주의 '강제적 안전장치' 제안) 는 정치적, 지정학적 반대 (특히 미국의 규제 완화 압력 등) 로 인해 지연되거나 무산되는 경우가 많습니다.
• 법적 공백: 기존 법률은 새로운 기술적 해악에 적합하지 않아 적용이 불확실합니다. 또한, 호주에는 연방 차원의 인권 헌장이나 권리 장전이 부재하여, ADM 으로 인한 차별이나 프라이버시 침해에 대한 명확한 법적 구제 수단이 부족합니다.
• 핵심 질문: 새로운 규제가 부재하거나 지연되는 상황에서, 기존 법률을 어떻게 활용하여 ADM 시스템의 투명성과 책임을 확보할 수 있는가?

2. 연구 방법론 (Methodology)

• 연구 접근: 행동 연구 (Action Research) 의 정신을 바탕으로 한 적용 사회과학 연구입니다. 즉, 이론적 분석을 넘어 실제 현장에서의 변화를 도모하는 것을 목표로 합니다.
• 데이터 수집: 호주 내 공익 소송 변호사, 기술 정책 활동가, 기술 법률 학자 등 20 명을 대상으로 반구조화 심층 인터뷰 (1 시간) 를 실시했습니다.
• 참여자 구성: 변호사 (소송 담당), 정책 고문, 학자, 소비자 옹호 단체 (CHOICE, Digital Rights Watch 등) 관계자, 법학 교수 등 다양한 이해관계자를 포함했습니다.
• 분석 방법: 인터뷰 데이터를 질적 주제 분석 (Qualitative Thematic Analysis) 기법을 통해 코딩하고, '도전 과제', '기회', '장벽', '촉진 요인' 등의 주제로 범주화하여 분석했습니다.

3. 주요 기여 (Key Contributions)

이 논문은 ADM 관련 공익 소송의 전략과 전술을 체계화하고, 호주 법적 맥락에서의 실용적 통찰을 제공합니다.

• '법적 리트로핏 (Legal Retrofitting)' 개념 정립: 새로운 기술적 해악에 대응하기 위해 수백 년 전의 판례법이나 과거의 입법을 새로운 상황에 맞게 적응시키는 전략을 '리트로핏'으로 정의하고 이를 구체적인 사례와 함께 제시했습니다.
• 실용적 소송 전략의 체계화: 이상적인 법 개혁을 기다리는 것이 아니라, 현재 존재하는 법의 능력을 최대한 활용하여 소송을 설계하는 구체적인 전술 (예: 적절한 원고 선정, 구제 수단의 선택, '볼트온' 전략 등) 을 제시합니다.
• 책임 생태계 (Ecosystem) 관점: 소송을 단독의 해결책이 아니라, 투명성, 옹호, 규제 개혁, 커뮤니티 조직화와 연계된 더 넓은 '책임 생태계'의 일부로 위치시킵니다.

4. 주요 결과 및 발견 (Results & Findings)

가. 전략적 접근 (Strategies and Tactics)

• 법적 리트로핏 (Retrofitting): 기존 법률 (예: 재산법, 신뢰 위반, 과실, 부정당득 등) 을 ADM 해악에 적용합니다. 예를 들어, 인권 장전이 없는 호주에서는 '재산권'을 침해당했다는 논리로 이민 수용소에서의 휴대폰 압수 문제를 다뤘습니다.
• 올바른 원고와 구제 수단 선정: 소송 자금 조달 (Litigation Funding) 을 받기 위해서는 금전적 배상이 가능한 소송 (과실, 신뢰 위반 등) 이 유리합니다. 따라서 공익 목적과 사적 이익 (금전적 보상) 을 정렬시키는 전략이 필요합니다.
• 볼트온 (Bolt-on) 전략: 사적인 분쟁을 다루는 소송에 공익적 쟁점 (Amicus Curiae 서한 등) 을 추가하거나, 기존에 확립된 청구와 함께 새로운 법적 이론을 '볼트온'하여 법의 발전을 시도합니다.
• 옹호와의 결합: 소송이 패배하더라도 (예: Robodebt 사건 전의 일부 소송), 법의 한계를 드러내어 입법 개혁의 필요성을 대중에게 알리는 플랫폼으로 활용합니다.

나. 한계와 구조적 문제 (Limits and Structural Barriers)

• 법적 문화의 경직성: 호주 법원은 '블랙 레터 (Black-letter)' 법 해석에 치중하여 새로운 기술적 맥락을 유연하게 적용하는 데 소극적일 수 있습니다. 특히 간접 차별 (Indirect Discrimination) 법리는 알고리즘 편향을 입증하기 어렵게 만듭니다.
• 접근의 불평등: 소송 비용, adverse costs order(패소 시 상대방 비용 부담), 시간적/정신적 소모는 이미 취약한 계층에게 소송을 기피하게 만듭니다.
• 시스템적 해악의 은폐: 개별 소송은 시스템 전체의 구조적 문제를 해결하기 어렵고, 상대방이 개별 사건을 은밀히 합의하여 (Settlement) 시스템적 문제를 은폐하는 전략을 쓰기도 합니다.

다. 효과적인 소송을 위한 촉진 요인 (Enablers)

1. 투명성 (Transparency): 알고리즘의 작동 원리, 데이터, 의사결정 과정에 대한 투명한 정보 공개가 소송의 전제 조건입니다. 이는 직접적인 설명뿐만 아니라 감사, 문서화, 제 3 자 검토 등을 포함합니다.
2. 네트워크 및 정보 공유: 피해 사례를 집계하고 패턴을 발견할 수 있는 커뮤니티, 연구자, 변호사, 규제 기관 간의 긴밀한 네트워크가 필요합니다. (예: '해커톤' 형태의 전략 개발 모임)
3. 재정적 지원 및 비용 보호: 공익 소송을 위한 자금 지원 체계와 패소 시 상대방 비용 부담을 면제하거나 제한하는 보호 비용 명령 (Protective Costs Orders) 과 같은 제도적 개선이 필수적입니다.

5. 의의 및 시사점 (Significance)

• 실용적 가이드: 새로운 규제가 부재한 상황에서 피해자와 옹호 단체가 즉시 활용할 수 있는 구체적인 법적 전략을 제공합니다.
• 정책적 함의: 호주 정부가 제안했던 '고위험 AI 를 위한 강제적 안전장치 (Mandatory Guardrails)' 제안이 지연되고 있는 상황에서, 기존 법률의 효용성을 극대화하고 이를 보완할 수 있는 제도적 장치 (투명성 의무, 집단적 구제 수단 등) 의 필요성을 강조합니다.
• 법적 문화의 변화: 법조계 (변호사, 판사) 가 기술적 소양을 갖추고 창의적으로 법을 해석할 수 있는 문화가 조성되어야 함을 주장합니다.
• 포괄적 접근: 소송은 마지막 수단일 뿐만 아니라, 시스템의 투명성을 확보하고 사회적 합의를 이끌어내는 '생성적 (Generative)' 도구로 작용할 수 있음을 보여줍니다.

결론적으로, 이 논문은 ADM 에 대한 책임 확보를 위해 새로운 법을 기다리는 수동적인 태도를 넘어, 기존 법률을 창의적으로 재해석하고 ('리트로핏'), 다양한 이해관계자와 협력하여 ('네트워크'), 체계적인 전략을 수립하는 ('실용주의') 능동적인 접근의 중요성을 강조합니다.