From Privacy to Trust in the Agentic Era: A Taxonomy of Challenges in Trustworthy Federated Learning Through the Lens of Trust Report 2.0

이 논문은 프라이버시 보장을 넘어 에이전트 AI 시대의 동적 환경과 다중 이해관계자 거버넌스를 포괄하는 '신뢰'를 핵심 Operating Condition 으로 재정의하고, 'Trust Report 2.0'을 통해 연방학습의 신뢰성을 확보하기 위한 요구사항 기반의 분류 체계와 조정 청사진을 제시합니다.

핵심

1. 문제의 시작: "비밀만 지키면 다인가?" (과거의 생각)

과거에는 "우리는 데이터를 한곳으로 모으지 않고, 각 병원에서 AI 를 훈련시켜서 결과만 합치니까 개인정보 유출은 없다"라고 생각했습니다. 마치 각 병원이 환자 기록을 금고에 넣고, 금고에서 나온 **정답지 (모델 업데이트)**만 서로 주고받는 것과 같습니다.

하지만 논문은 말합니다. "비밀만 지키는다고 해서 그 AI 가 믿을 만한 건 아닙니다."

• 비유: 만약 각 병원이 보낸 정답지가 엉망이거나, AI 가 스스로 판단해서 위험한 약을 처방하도록 설정되었다면? 데이터가 유출되지 않았더라도 환자는 위험에 처합니다.
• 핵심: 이제는 단순히 '비밀 (Privacy)'을 지키는 것을 넘어, AI 가 올바르게, 공정하게, 안전하게 작동하는지 증명하는 **'신뢰 (Trust)'**가 필요합니다.

2. 새로운 시대: "AI 가 스스로 결정하는 시대" (에이전트 AI)

이제 AI 는 단순히 정답지를 주고받는 수동적인 도구가 아닙니다. 스스로 판단하고 행동하는 **'에이전트'**가 됩니다.

• 상황: AI 가 스스로 "오늘은 A 병원의 데이터가 더 중요하니까 A 병원만 뽑아서 학습하자"라고 결정하거나, "이 약은 효과가 없으니 학습 목표를 바꿔보자"라고 스스로 판단할 수 있습니다.
• 위험: AI 가 스스로 잘못된 결정을 내리면, 누가 책임져야 할까요? 누가 그 결정을 막을 수 있을까요?
• 논문이 말하는 것: AI 가 스스로 움직일수록, 우리는 **AI 의 결정 과정 (통제판)**을 감시하고 기록해야 합니다.

3. 해결책 1: "학습실"과 "지휘실"을 나누다

논문의 가장 중요한 아이디어 중 하나는 AI 시스템을 두 개의 공간으로 나누는 것입니다.

1. 학습실 (Learning Plane): AI 가 문제를 풀고 정답을 찾는 곳. (기존의 기술)
2. 지휘실 (Control Plane): AI 가 "누구와 함께 할지", "무엇을 배울지", "언제 멈출지"를 결정하는 곳. (새로운 초점)

• 비유: 요리사 (학습실) 가 요리를 잘하는 것도 중요하지만, **식당 지배인 (지휘실)**이 "오늘은 비싸진 재료를 쓰지 말자", "손님이 많으니 빨리 내자"라고 결정하는 과정이 더 중요합니다. 만약 지배인이 엉뚱한 결정을 내리면, 요리사가 아무리 잘해도 식당은 망합니다.
• 논문 주장: 우리는 AI 의 '요리 실력'뿐만 아니라 '지배인의 결정 과정'까지 감시하고 기록해야 합니다.

4. 해결책 2: "신뢰 보고서 2.0" (Trust Report 2.0)

이제 어떻게 감시할까요? 논리는 복잡한 기술이 아니라, 간단한 보고서를 작성하는 것입니다.

• 전통적인 방식: "우리는 데이터를 모으지 않았습니다." (단순한 선언)
• 새로운 방식 (신뢰 보고서 2.0):
  • "오늘 AI 가 A 병원을 선택한 이유는 이것입니다."
  • "우리가 설정한 비밀 유지 수준은 이 정도입니다."
  • "AI 가 스스로 학습 목표를 바꿨을 때, 누가 승인했나요?"
  • "환자 그룹별로 결과가 공평한지 확인했습니다."

이 보고서는 원본 데이터 (환자 이름, 병력 등) 를 공개하지 않으면서도, AI 가 어떻게 작동했는지 증거를 보여줍니다. 마치 "이 식당은 위생 기준을 지켰다"는 인증서처럼, "이 AI 는 윤리적으로 작동했다"는 증표가 되는 것입니다.

5. 왜 이것이 중요한가? (의료 분야의 예시)

이 논문의 예시는 암 (Oncology) 치료입니다.

• 상황: 여러 병원이 암 데이터를 공유해 AI 를 만들어 치료법을 개발하려 합니다.
• 위험: AI 가 특정 인종이나 지역의 환자에게만 유리한 치료법을 추천하거나, 갑자기 치료 기준을 바꾼다면 큰일 납니다.
• 해결: "신뢰 보고서"를 통해 "우리는 모든 병원의 데이터를 공정하게 사용했고, 치료 기준 변경은 의사와 감독관이 승인했습니다"라고 증명해야만, 환자와 의사가 그 AI 를 믿고 사용할 수 있습니다.

6. 요약: 이 논문이 우리에게 주는 메시지

1. 비밀 (Privacy) 는 기본이지만, 충분하지 않습니다. 데이터를 숨기는 것만으로는 AI 를 믿을 수 없습니다.
2. AI 가 스스로 결정하는 시대에는 '감시'가 필요합니다. AI 가 무엇을, 왜 결정했는지 기록해야 합니다.
3. 신뢰는 '한 번의 인증'이 아니라 '계속되는 과정'입니다. 매번 결정을 내릴 때마다 그 근거를 보여주는 **보고서 (Trust Report)**가 있어야 합니다.
4. 책임 소재를 명확히 해야 합니다. AI 가 실수했을 때, 누가 (의사, 개발자, 관리자) 책임을 지는지 이 보고서에 명시되어야 합니다.

한 줄 요약:

"이제 AI 를 믿는다는 것은, 단순히 "데이터가 안전하다"고 말하는 것이 아니라, **"AI 가 매 순간 어떻게, 왜 그렇게 결정했는지 증명할 수 있다"**는 것을 의미합니다."

이 논문은 AI 가 우리 삶을 더 안전하게 만들기 위해, 기술적인 보안뿐만 아니라 투명한 의사결정과 책임 있는 관리가 동반되어야 함을 강조하고 있습니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 연방 학습 (Federated Learning, FL) 은 데이터 프라이버시를 보호하면서 협력적 모델 학습을 가능하게 하는 핵심 패러다임으로 자리 잡았습니다. 그러나 실제 고위험 분야 (의료, 금융 등) 에 적용되는 과정에서 프라이버시 보장만으로는 시스템에 대한 신뢰 (Trust) 를 유지하기에 불충분함이 드러났습니다.

• 한계점: 기존 연구는 주로 프라이버시, 통신 효율성, 또는 특정 공격에 대한 견고성 (Robustness) 에 집중했습니다. 신뢰를 단순히 '기밀성'이나 '모델의 정적 속성'으로 간주하여, 자율적 의사결정 (Agency), 동적 환경, 그리고 다수 이해관계자 거버넌스가 필요한 현대적 맥락을 충분히 반영하지 못했습니다.
• 새로운 도전: 생성형 AI 와 대규모 언어 모델 (LLM) 이 통합되고, 에이전트 (Agent) 가 FL 시스템 내에서 자율적으로 목표를 설정하거나 조정하는 '에이전트 AI 시대'에 접어들면서, 학습 단계 (Learning Plane) 의 기술적 보장만으로는 시스템 전체의 신뢰성을 담보할 수 없게 되었습니다.
• 핵심 질문: 프라이버시 중심의 정적 시스템에서, 동적 환경에서 작동하는 에이전트 기반 FL 로 전환될 때 신뢰의 개념은 어떻게 재정의되어야 하며, 이를 어떻게 검증 가능한 증거 (Evidence) 로 구현할 수 있는가?

2. 방법론 (Methodology)

이 논문은 신뢰할 수 있는 연방 학습 (Trustworthy FL, TFL) 을 달성하기 위해 다음과 같은 체계적인 방법론을 제시합니다.

• TAI 기반 요구사항 중심 분류 (Requirement-Driven Taxonomy): 유럽 위원회의 신뢰할 수 있는 AI (TAI) 7 가지 핵심 요구사항 (인간 주체성, 기술적 견고성, 프라이버시, 투명성, 다양성/공정성, 사회적 복지, 책임성) 을 기반으로 FL 의 도전 과제를 재구조화했습니다.
  • 기존 연구의 '완료 (Done)', '트렌드 (Trends)', '미해결 (To-do)' 상태를 분석하여, 에이전트 행동, LLM 통합, 동적 환경에 특화된 새로운 도전 과제를 도출했습니다.
• 학습 평면 (Learning Plane) 과 제어 평면 (Control Plane) 의 분리:
  • 학습 평면: 모델 파라미터 업데이트, 집계 등 전통적인 FL 작업.
  • 제어 평면: 참여자 선정, 목표 변경, 평가 게이트, 배포/롤백 결정 등 에이전트가 자율적으로 수행하는 의사결정.
  • 이 두 평면을 분리하여 분석함으로써, 학습 알고리즘이 안전하더라도 제어 평면의 자율적 결정으로 인한 신뢰 실패를 포착할 수 있도록 했습니다.
• 자율성 수준 (Autonomy Levels) 정의: 인간의 개입 정도에 따라 A0(수동) 에서 A3(완전 자율) 까지 자율성 수준을 정의하고, 각 수준별 위험 프로파일과 감독 (Oversight) 요구사항을 매핑했습니다.
• 조정 청사진 (Coordination Blueprint) 및 Trust Report 2.0:
  • 여러 TAI 요구사항 간의 상충 관계 (Trade-offs) 를 관리하기 위한 의사결정 중심의 조정 프레임워크를 설계했습니다.
  • 이를 구현하기 위해 Trust Report 2.0을 제안했습니다. 이는 원본 데이터를 중앙에 수집하지 않으면서도, 의사결정의 근거, 정책 준수 여부, 위험 지표 등을 포함하는 경량화된 검증 가능 증거 (Auditable Evidence) 아티팩트입니다.

3. 주요 기여 (Key Contributions)

1. TAI 기반의 도전 과제 분류 체계 (Taxonomy):

   • 프라이버시, 견고성, 투명성 등 7 가지 TAI 요구사항별로 FL 의 구체적인 도전 과제를 분류했습니다.
   • 특히 '이중 블랙박스 (Double Black-box)' 문제 (VFL 의 클라이언트 출력과 집계 과정의 불투명성), '의미층 누출 (Semantic-layer leakage, LLM 기반 통신에서의 프라이버시 위험)', '제어 평면 감사 가능성 (Control-plane auditability)' 등 에이전트 시대에 특화된 새로운 위협 모델을 명시적으로 제시했습니다.

2. 신뢰의 패러다임 전환 (Paradigm Shift):

   • 신뢰를 '학습 시점의 정적 속성'이 아닌, '시스템 전체 수명 주기에 걸쳐 지속적으로 유지되는 운영 조건 (Operating Condition)'으로 재정의했습니다.
   • 학습 평면과 제어 평면을 구분하고, 자율성 수준에 따른 감독 메커니즘을 도입하여 에이전트 시스템의 신뢰성을 체계화했습니다.

3. 조정 청사진 (Coordination Blueprint) 및 Trust Report 2.0:

   • Blueprint: 의사결정 유형 (예: 클라이언트 선정, 목표 변경, 배포/롤백) 과 이에 필요한 TAI 요구사항, 감독 수준, 그리고 생성되어야 할 증거 (Evidence) 를 매핑한 프레임워크를 제시했습니다.
   • Trust Report 2.0: 프라이버시를 침해하지 않으면서도 의사결정의 정당성을 입증하는 표준화된 보고 템플릿을 제안했습니다. 이는 참여자 통계, 프라이버시 예산 (DP $\epsilon, \delta$), 견고성 지표, 의사결정 로그 등을 포함합니다.

4. 의료 (종양학) 스트레스 테스트:

   • 고위험 의료 환경 (종양학 FL) 을 시나리오로 적용하여 제안된 프레임워크의 실용성을 검증했습니다. 규제 압박, 데이터 이질성, 임상적 위험 하에서 Trust Report 2.0 이 어떻게 의사결정 증거를 제공하고 거버넌스를 지원할 수 있는지 구체화했습니다.

4. 결과 및 시사점 (Results & Implications)

• 프라이버시에서 신뢰로의 전환: 프라이버시는 협력의 필수 조건이지만 충분 조건이 아님을 입증했습니다. 에이전트 시대의 FL 은 기술적 보장뿐만 아니라 거버넌스, 감독, 그리고 검증 가능한 의사결정 증거를 통해 신뢰를 구축해야 합니다.
• 상충 관계의 관리: 프라이버시 vs 견고성, 공정성 vs 효율성 등 서로 다른 TAI 요구사항 간의 상충 관계는 단순히 기술적 최적화 문제가 아니라, 명확한 거버넌스 규칙과 의사결정 로그를 통해 관리되어야 하는 설계 선택 사항임을 보였습니다.
• 실용적 적용 가능성: 의료 분야 사례를 통해, Trust Report 2.0 이 규제 기관, 임상 의사, 기술 운영자 등 다양한 이해관계자에게 각자의 역할에 맞는 검증 가능한 정보를 제공하여 책임 소재를 명확히 할 수 있음을 보여주었습니다.
• 지속 가능한 신뢰: 신뢰는 일회성 인증이 아니라, 동적 환경과 자율적 의사결정에 대응하여 지속적으로 증거를 수집하고 검증하는 과정 (Continuous Assurance) 으로 유지되어야 함을 강조했습니다.

5. 의의 (Significance)

이 논문은 연방 학습의 미래 방향성을 제시하는 중요한 이정표입니다.

• 개념적 혁신: '신뢰'를 추상적인 개념이 아닌, 학습 및 제어 평면의 의사결정과 연결된 검증 가능한 시스템 속성으로 구체화했습니다.
• 거버넌스 프레임워크 제공: AI 규제 (예: EU AI Act) 가 강화되는 상황에서, FL 시스템이 어떻게 규제 준수와 책임성을 입증할 수 있는지에 대한 구체적인 아키텍처 (Blueprint) 와 증거 도구 (Trust Report) 를 제공했습니다.
• 에이전트 AI 대비: 생성형 AI 와 자율 에이전트가 FL 에 통합되는 미래 시나리오에 선제적으로 대응할 수 있는 위협 모델과 대응 전략을 제시하여, 연구자와 실무자에게 중요한 가이드라인이 됩니다.
• 실무 적용: 의료와 같은 고위험 분야에서 FL 이 단순히 기술적으로 가능하다는 것을 넘어, 윤리적, 법적, 사회적 요구를 충족하며 실제 운영될 수 있는 길을 열었습니다.

요약하자면, 이 논문은 프라이버시 중심의 FL 에서 거버넌스 중심의 신뢰할 수 있는 FL 로의 전환을 요구하며, 이를 위해 의사결정 기반의 조정 청사진과 **검증 가능한 증거 도구 (Trust Report 2.0)**를 제안함으로써 에이전트 시대의 분산형 AI 시스템 신뢰성 문제를 해결하는 통합적인 틀을 마련했습니다.