Fairness in Multi-Agent Systems for Software Engineering: An SDLC-Oriented Rapid Review

1. 문제 정의 (Problem Statement)

• 배경: 트랜스포머 기반의 대규모 언어 모델 (LLM) 과 이를 활용한 다중 에이전트 시스템 (MAS) 이 소프트웨어 개발 수명 주기 (SDLC) 전반 (코드 생성, 테스트, 배포, 유지보수 등) 에 광범위하게 통합되고 있습니다. 특히 "Software 3.0"로 불리는 AI 네이티브 개발 패러다임에서 MAS 는 개발자 워크플로우와 제품 통합의 핵심 역할을 수행합니다.
• 문제점: LLM 기반 MAS 의 기술적 발전은 급속히 이루어지고 있으나, 개발자 도구에 적용될 때의 공정성 (Fairness) 함의는 충분히 탐구되지 않았습니다.
  • 단일 에이전트 시스템과 달리, 다중 에이전트 간의 상호작용 (협업, 합의, 역할 분담) 은 새로운 형태의 편향과 불공정을 유발할 수 있습니다.
  • 기존 연구는 주로 단일 모델의 편향에 집중하거나, 소프트웨어 공학 (SE) 맥락과 단절된 일반적인 MAS 연구에 머무르고 있어, 실제 소프트웨어 워크플로우에 적용 가능한 공정성 평가 및 완화 전략이 부재합니다.
• 핵심 질문:
  1. 기존 MAS 연구에서 공정성은 어떻게 정의되고 측정되는가? (RQ1)
  2. SDLC 의 각 단계에서 어떤 편향, 해악 (Harms), 불평등한 결과가 발생하는가? (RQ2)
  3. MAS 기반 소프트웨어 생태계에서 공정성, 책임성, 투명성을 증진하기 위한 연구 격차는 어디에 있는가? (RQ3)

2. 방법론 (Methodology)

• 연구 설계: 신속 검토 (Rapid Review) 방식을 채택하여, 전통적인 체계적 문헌 검토 (Systematic Literature Review) 보다 시의적절한 통찰을 도출했습니다.
• 데이터 수집:
  • 검색 범위: 2017 년부터 2025 년까지의 논문 (ACM Digital Library, IEEE Xplore, Google Scholar).
  • 검색어: "Fairness/Bias" + "Multi-Agent System" + "Software Engineering/SDLC" 관련 용어 조합.
  • 초기 코퍼스: 350 편의 논문 (주요 검색 300 건 + 보조 검색 50 건) 을 수집하고, 스노우볼링 (Snowballing) 기법을 추가로 적용했습니다.
• 선정 기준 (Inclusion/Exclusion):
  • 포함: 다중 에이전트 시스템에 대한 경험적 평가 또는 개념/방법론적 기여가 있는 논문; SE 워크플로우 또는 에이전트 간 상호작용과 관련된 공정성 (편향, 책임, 차별 등) 초점; 영어로 작성된 논문.
  • 제외: 단일 에이전트 연구, SE 와 무관한 비기술적 윤리 논의, 중복 또는 전체 텍스트가 없는 논문.
• 분석 과정:
  • 최종적으로 18 편의 연구를 선정하여 심층 분석했습니다.
  • SE 맥락에 명시적으로 명시되지 않은 연구의 경우, 에이전트 상호작용 메커니즘 (예: 토론, 역할 부여, 합의) 이 SE 워크플로우 (요구사항, 설계, 테스트 등) 에 어떻게 매핑될 수 있는지 기능적 역할에 기반하여 해석적으로 매핑했습니다.
  • 데이터 추출은 공정성 정의, 평가 지표, 해악 유형, SDLC 관련성, 연구 격차 등 5 가지 카테고리로 구조화되었습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1. 공정성의 정의와 측정 (RQ1)

분석된 18 편의 연구는 공정성을 세 가지 서로 겹치는 흐름으로 정의하고 측정했습니다.

1. 편향 감소 (Bias Reduction): 사회적 편향 (성별, 인종, 종교 등) 을 줄이는 데 초점. 주로 BBQ, MALIBU 와 같은 편향 벤치마크를 사용하여 정확도나 그룹 간 격차 (C1, C2 지표) 를 측정.
2. 윤리적 및 신뢰할 수 있는 AI (Ethical & Trustworthy AI): EU AI Act, ISO/IEC 표준 등을 참조하여 공정성을 거버넌스, 투명성, 책임성의 한 차원으로 정의. 주로 개념적 (C4) 접근을 취하며, 구체적인 측정 지표는 부족함.
3. 에이전트 간 역동성 (Inter-Agent Dynamics): 다중 에이전트 상호작용에서 발생하는 공정성 문제 (예: 집단 동조, 소수 의견 억압, 편향 증폭) 에 초점. 에이전트 간 협력, 합의, 역할 분담 과정에서 발생하는 새로운 지표 (C3, 예: 동조율, 집단 오정렬) 를 도입.

• 결론: 세 가지 흐름은 서로 다른 측면을 측정하여 상호 비교가 불가능하며, 단일 연구가 소프트웨어 워크플로우에서 발생하는 공정성 문제의 전체 범위를 포괄하지 못함.

3.2. SDLC 전반의 편향과 해악 (RQ2)

연구들은 MAS 사용 시 다음과 같은 해악을 보고하며, 이를 SDLC 단계에 매핑했습니다.

• 주요 해악 유형:
  • 표현적 해악 (Representation): 고정관념적 역할 부여, 소수 그룹의 배제.
  • 서비스 품질 해악 (Quality of Service): 불평등한 정확도, 할루시네이션, 위험한 추천.
  • 보안 및 프라이버시 해악: 프롬프트 인젝션, 데이터 유출, 연쇄적 공격.
  • 거버넌스 및 신뢰 해악: 불투명한 의사결정 경로, 책임 소재 불분명.
• SDLC 매핑:
  • 요구사항 (Requirements): 편향된 시나리오나 프롬프트로 인한 윤리적/법적 제약 무시.
  • 설계 (Design): 역할 기반 접근 제어, 보안 계층, 익명화 파이프라인 설계 시 불평등이 전파될 위험.
  • 테스트 (Testing): 대화형 편향 벤치마크를 통한 스트레스 테스트 필요성 제기 (현재 SE 테스트 관행과 단절됨).
  • 유지보수 (Maintenance): 운영 환경에서의 프롬프트 인젝션, 할루시네이션, 편향 증폭 현상.
• 특징: 요구사항 정의, 편향 벤치마킹, 보안 시나리오에 대한 연구는 많으나, 코드 리뷰, 디버깅, 설계 반복과 같은 일상적인 개발자 활동에 대한 연구는 매우 부족함.

3.3. 연구 격차 및 미래 방향 (RQ3)

현재 MAS 공정성 연구는 실제 배포 가능한 시스템을 지원하기에 준비되지 않은 상태로 평가됩니다.

1. 평가 인프라의 부재: 에이전트 상호작용 효과를 분리하지 않은 ad-hoc 평가가 주를 이룸. 에이전트 수, 역할 구조, 메모리, 프롬프트 전략 등 핵심 변수가 연구마다 달라 결과 비교가 어려움.
2. 일반화 부족: 특정 모델, 프로토콜, 프로그래밍 언어에 국한된 실험 결과로 인해, 에이전트 전문화나 역할 분담으로 인한 교차적/도메인 특화 편향을 포착하지 못함.
3. 완화 및 통합의 미비: 문제 정의와 위험 식별은 많으나, 실제 배포 가능한 완화 방안 (Mitigation) 이 부족함. 에이전트 효과와 프롬프트 효과를 분리한 검증, 확장성, 인간 감독 요구사항 등을 고려한 실용적 평가가 부재함.

4. 의의 및 시사점 (Significance)

• 이론적 기여: MAS 공정성 연구가 '편향 감소', '거버넌스', '에이전트 역동성'이라는 세 가지 흐름으로 나뉘어 있음을 체계화하고, 이들이 SDLC 에 어떻게 적용될 수 있는지를 매핑했습니다.
• 실무적 시사점:
  • MAS 인지형 벤치마크 (MAS-aware Benchmarks) 개발 필요성 강조.
  • 일관된 평가 프로토콜과 SDLC 전 주기에 걸친 거버넌스 체계 마련 필요.
  • 단순한 모델 출력의 공정성을 넘어, 에이전트 간 상호작용에서 발생하는 집단적 편향 (집단 동조, 편향 증폭) 을 관리할 수 있는 프레임워크 구축이 시급함.
• 한계: 본 검토는 신속 검토 (Rapid Review) 이며, 많은 연구가 SE 맥락이 아닌 일반적 MAS 환경에서 수행되었으므로, 실제 소프트웨어 아티팩트 (코드 품질 등) 에 미치는 영향에 대한 실증적 증거는 제한적입니다.

요약하자면, 본 논문은 LLM 기반 다중 에이전트 시스템이 소프트웨어 개발에 통합됨에 따라, 기존의 단일 모델 중심의 공정성 접근법으로는 부족하며, 에이전트 간 상호작용 역동성과 SDLC 전 과정을 아우르는 새로운 평가 및 거버넌스 체계가 필요함을 강력하게 주장합니다.