[Re] FairDICE: A Gap Between Theory And Practice

이 논문은 다목적 오프라인 강화학습에서 공정한 균형을 찾는다는 FairDICE 의 이론적 타당성을 확인하면서도, 코드 오류로 인해 연속 환경에서 행동 모방으로 퇴화하고 하이퍼파라미터 설정이 불명확했다는 문제를 지적하여 실험적 근거의 재검토가 필요함을 주장합니다.

핵심

1. 배경: "모두를 만족시키는 완벽한 요리"는 왜 어려운가?

상상해 보세요. 한 식당에서 세 가지 목표를 동시에 달성해야 하는 요리사가 있다고 칩시다.

1. 맛 (보상 1)
2. 건강 (보상 2)
3. 저렴한 가격 (보상 3)

보통의 AI(강화학습) 는 이 세 가지를 하나로 합쳐서 "가장 맛있는 것"만 찾습니다. 하지만 현실에서는 "맛은 좋지만 비싸고 건강에 해로운 음식"만 나오는 문제가 생깁니다. 모든 목표를 공정하게 균형 있게 맞추는 요리를 만드는 것은 매우 어렵습니다.

원래 논문 (Kim et al., 2025) 은 이 문제를 해결하기 위해 **'FairDICE'**라는 새로운 레시피를 제안했습니다. 이 레시피는 AI 가 스스로 "맛, 건강, 가격 중 어느 것에 더 비중을 둘지"를 학습하게 하여, 누구도 소외되지 않는 공정한 요리를 만들어낸다고 주장했습니다.

2. 문제 발견: "요리 실수"가 숨겨져 있었다

이 연구팀은 그 유명한 'FairDICE' 레시피를 직접 따라 해보며 검증했습니다. 그런데 놀라운 사실을 발견했습니다.

• 발견 1: "무심코 버린 비법"
  원래 논문에서 제시된 코드를 실행해 보니, **연산 방식에 치명적인 실수 (Broadcasting Error)**가 있었습니다. 마치 "소스 양을 재는 컵"을 잘못 써서, 소스가 모든 재료에 골고루 묻는 게 아니라 아예 소스 없이 그냥 밥 (기존 방식) 만 나오는 상황이었죠.

  • 결과: 원래 논문에서 "공정하게 잘 작동한다"고 보여준 결과들은 사실 **공정성을 고려하지 않은 단순한 모방 (행동 복제)**이었던 것입니다. 마치 "공정한 요리"라고 홍보했지만, 사실은 그냥 "요리사가 하던 대로 따라 한 요리"였던 셈입니다.

• 발견 2: "요리사의 손맛 (하이퍼파라미터) 에 너무 의존함"
  이 실수를 바로잡고 진짜 FairDICE 를 다시 만들어 보니, 이론적으로는 훌륭했지만 실제 작동하려면 '손맛 (하이퍼파라미터)'을 아주 정밀하게 조절해야 했습니다.

  • 마치 "이 요리는 불 조절을 100% 정확히 해야만 맛있다"는 뜻입니다. 원래 논문에서는 "어떤 불 조절에서도 다 잘 돼요"라고 했지만, 실제로는 불 조절을 잘못하면 맛이 형편없어졌습니다.

3. 결론: 이론은 훌륭하지만, 현실은 더 까다롭다

연구팀은 이 문제를 해결하고 FairDICE 를 다시 테스트한 후 다음과 같은 결론을 내렸습니다.

• 이론은 맞다: "공정성을 자동으로 학습한다"는 아이디어 자체는 매우 훌륭하고, 간단한 환경에서는 잘 작동합니다.
• 현실은 어렵다: 복잡한 환경 (실제 로봇이나 의료 등) 에서는 **정확한 설정값을 찾아내는 데 많은 노력 (온라인 튜닝)**이 필요합니다. 원래 논문이 주장했던 것처럼 "설정값을 안 조절해도 잘 된다"는 말은 사실이 아니었습니다.
• 확장성은 있다: 하지만 이 기술을 고쳐 쓰면, 수백 가지 목표가 있는 복잡한 상황이나 이미지 같은 복잡한 데이터에서도 잘 작동할 수 있다는 희망적인 결과도 나왔습니다.

🍳 한 줄 요약 (비유)

"새로운 **공정 요리 레시피 (FairDICE)**가 나왔는데, 처음에는 계량 컵을 잘못 써서 소스 없이 밥만 나오는 줄 알았습니다. 그 실수를 고치고 다시 해보니, 이론적으로는 훌륭한 요리지만 요리사의 손맛 (설정값) 을 아주 정밀하게 조절해야만 제대로 된 요리를 만들 수 있었습니다. 그래서 이 레시피는 유망하지만, 당장 아무나 써먹기엔 조금 더 연습이 필요하다는 결론입니다."

이 연구는 과학적 진보에서 중요한 교훈을 줍니다. "새로운 기술이 발표되면, 누구나 그 코드를 돌려보고 검증해봐야만 진짜 가치를 알 수 있다"는 것입니다. 연구팀은 이 과정에서 발견된 오류를 바로잡아, 미래의 더 나은 AI 개발에 기여했습니다.

기술 요약

1. 문제 정의 (Problem)

• 배경: 오프라인 강화학습 (Offline RL) 은 실제 환경 (의료, 로봇공학 등) 에서 온라인 학습의 위험이나 비용을 피하기 위해 기존 데이터셋만으로 정책을 학습하는 분야입니다.
• 핵심 과제: 많은 실제 문제는 단일 목표가 아닌 **다중 목표 (Multi-objective)**를 가지며, 이 목표들은 종종 상충됩니다. 기존 RL 은 단일 보상 함수를 최적화하므로, 여러 목표를 어떻게 결합하여 '공정 (Fair)'한 균형을 맞출지 결정하는 것이 어렵습니다.
• 기존 방법의 한계: 기존 다중 목표 오프라인 RL 알고리즘들은 공정한 균형을 자동으로 찾는 효율적인 방법을 제공하지 못했습니다. 일반적으로 보상 가중치를 수동으로 조정하거나, 온라인 평가 없이 최적의 가중치를 찾는 것이 불가능했습니다.
• FairDICE 의 제안: Kim et al. (2025a) 은 OptiDICE 알고리즘을 변형하여 FairDICE를 제안했습니다. 이 알고리즘은 정규화 항을 추가하여 학습 중 목표 간 가중치 (µ) 를 자동으로 학습하고, 보상 크기를 균등하게 유지하도록 유도하여 공정성을 달성한다고 주장했습니다.

2. 방법론 (Methodology)

이 논문은 Kim et al. (2025a) 의 공표된 FairDICE 구현체와 이론적 주장을 재현 (Replication) 하고 검증하는 것을 목표로 합니다.

• 알고리즘 구조:

  • 기반: OptiDICE (상태 - 행동 쌍의 가중치를 학습하여 행동 복제 (Behavior Cloning) 를 수행).
  • FairDICE 의 혁신: critic 네트워크 (ν) 와 함께 선호도 벡터 (µ) 를 함께 학습합니다. Nash 사회적 후생 (NSW) 과 같은 비선형 효용 함수를 근사하기 위해 µ 에 대한 정규화 항을 손실 함수에 추가합니다.
  • 목표: 온라인 평가 없이도 다중 목표 간의 공정한 균형을 자동으로 학습하는 것.

• 재현 과정 및 발견된 결함:

  • 코드 오류 발견: 공개된 GitHub 저장소 (Kim et al., 2025c) 의 연속 환경 (Continuous Environments) 코드에서 Broadcasting 오류가 발견되었습니다.
    • 정책 손실 (Policy Loss) 계산 시, 학습된 중요도 가중치 (stable_w) 와 로그 확률 (log_probs) 을 곱할 때 텐서 차원 불일치로 인해 외적 (Outer Product) 이 발생했습니다.
    • 이로 인해 모든 행동이 동일한 가중치를 갖게 되어, 학습된 가중치가 정책 학습에 전혀 반영되지 않았습니다. 결과적으로 FairDICE 는 단순한 **행동 복제 (Behavior Cloning, BC)**로 축소되었습니다.
  • 추가적 불일치: 크리틱 (Critic) 손실 함수에 논문에는 명시되지 않은 그래디언트 페널티 (Gradient Penalty) 항이 포함되어 있었습니다.
  • 수정: 연구팀은 이 코딩 오류를 수정하여 가중치가 올바르게 적용되도록 '수정된 FairDICE (Fixed FairDICE)'를 구현하고 실험을 재수행했습니다.

3. 주요 기여 및 발견 (Key Contributions & Findings)

A. 이론적 주장의 검증 (이산 환경)

• 결과: 이산 환경 (MO-Four-Rooms, Random MOMDP) 에서 FairDICE 의 이론적 성질은 대부분 입증되었습니다.
• 주요 발견:
  • FairDICE 는 균일한 랜덤 정책에서 학습된 데이터로도 공정한 정책을 학습할 수 있습니다 (Claim 1.1).
  • 하이퍼파라미터 $\alpha$ (공정성 강도) 와 $\beta$ (정규화 강도) 를 조절하면 유틸리티 (Utilitarian) 와 최소 - 최대 (Min-Max) 공정성 사이를 조절할 수 있으며, 데이터 정책에 가까워지거나 멀어지는 경향을 보입니다 (Claim 1.2).

B. 연속 환경에서의 재현 및 한계

• 원래 결과의 오류: Kim et al. (2025a) 의 원래 논문에서 연속 환경 (D4MORL 벤치마크) 에서 보고된 뛰어난 성능은 **단순 행동 복제 (BC)**의 결과였으며, FairDICE 의 고유한 메커니즘이 작용한 것이 아니었습니다.
• 수정된 알고리즘의 성능:
  • 코드를 수정한 후, FairDICE 는 하이퍼파라미터 $\beta$에 매우 민감하게 반응했습니다.
  • Claim 2.1("$\beta$ 값에 관계없이 일관된 성능") 은 거짓으로 판명되었습니다. 대부분의 $\beta$ 설정에서 표준 BC 보다 성능이 떨어졌으며, 최적의 $\beta$를 찾기 위해 온라인 튜닝이 필요했습니다.
  • 일부 환경 (HalfCheetah) 에서는 BC 보다 우수한 성능을 보였으나, 전반적으로 공정한 균형을 자동으로 찾는 능력은 제한적이었습니다.

C. 확장 실험 (Extensions)

1. 음수 보상 처리: 보정된 로직과 조각별 로그 함수 (Piecewise Log) 를 사용하여 음수 보상 환경에서도 작동함을 확인했습니다.
2. 편향된 데이터셋: 데이터가 특정 목표에 편향되어 있을 경우, FairDICE 는 부분적으로 공정을 개선할 수 있으나, 데이터가 극단적으로 편향되면 완전한 공정성을 회복하지는 못했습니다.
3. 고차원 보상 (100 개 목표): GroupFair 환경에서 100 개의 보상을 가진 고차원 문제에서도 확장성이 있음을 보였습니다.
4. 복잡한 관측 (이미지): Minecart-RGB 환경 (이미지 입력) 에서도 FairDICE 가 확장 가능함을 확인했으나, 유틸리티 기반 베이스라인과의 성능 차이는 미미했습니다.

4. 결과 및 결론 (Results & Significance)

• 핵심 결론:

  • FairDICE 는 이론적으로 흥미롭고 유효한 접근법입니다. 특히 이산 환경에서 다중 목표 간의 공정한 균형을 학습하는 능력을 입증했습니다.
  • 하지만 실험적 근거는 심각한 수정이 필요합니다. 원래 논문의 연속 환경 실험 결과는 코딩 오류로 인해 왜곡되었으며, 수정된 알고리즘은 하이퍼파라미터 ($\beta$) 에 대한 높은 민감도로 인해 '오프라인' 설정 (온라인 튜닝 불가) 에서의 실용성이 제한적입니다.
  • 공정한 정책을 학습하려면 데이터의 균형이 중요하며, 단순히 알고리즘만으로는 편향된 데이터셋의 한계를 완전히 극복하기 어렵습니다.

• 의의:

  • 이 연구는 오프라인 RL 분야에서 재현성 (Reproducibility) 의 중요성을 다시 한번 강조합니다.
  • FairDICE 와 같은 새로운 알고리즘이 제안될 때, 코드 구현의 정확성과 하이퍼파라미터 민감도에 대한 철저한 검증이 필요함을 시사합니다.
  • 향후 연구에서는 더 강건한 오프라인 RL 프레임워크와 결합하거나, 하이퍼파라미터 선택 패턴을 규명하는 추가 연구가 필요하다고 제안합니다.

요약

이 논문은 다중 목표 오프라인 RL 을 위한 FairDICE 알고리즘의 재현 연구로, 이론은 타당하나 실험적 구현에 치명적인 오류가 있어 원래 주장된 성능 (특히 연속 환경에서의 자동 균형 달성 능력) 이 과장되었음을 폭로했습니다. 수정된 알고리즘은 여전히 유효하지만, 실용적 적용을 위해서는 하이퍼파라미터 튜닝이 필수적이며 데이터의 품질이 성능에 결정적인 영향을 미친다는 점을 밝혔습니다.