기술 요약: FACTER의 재현 (Reproducing FACTER)

문제 정의

대규모 언어 모델(LLM)은 자연어로 개인화된 제안을 생성하는 능력 덕분에 추천 시스템으로서 점점 더 많이 배치되고 있습니다. 그러나 이러한 모델은 훈련 데이터에 존재하는 사회적 편향을 증폭시켜, 서로 다른 인구통계학적 그룹의 사용자에게 체계적으로 다른 추천을 제공할 위험이 있습니다. 모델의 파라미터를 수정하며 공정성 제약을 적용하는 것은 일반적인 완화 전략이지만, API를 통해 배포되는 블랙박스 LLM의 경우 실질적으로 불가능한 경우가 많습니다. 이는 모델 불가지론적(model-agnostic)이고 사후적인(post-hoc) 개입을 필요로 합니다.

본 논문은 비공리적 임계값(nonconformity threshold)을 보정하기 위해 **등각 예측(conformal prediction)**과 "AVOID" 제약 조건을 주입하는 반복적 프롬프트 수선(iterative prompt repair) 메커니즘을 결합한 프레임워크인 FACTER(Fayyazi et al., 2025)의 재현에 초점을 맞춥니다. 원본 연구는 FACTER가 추천 유용성을 저하시키지 않으면서 공정성 위반을 줄일 수 있다고 주장했습니다. 본 연구는 이러한 주장의 재현 가능성을 조사하며, 원본 구현의 모호함을 해결하고, 원본의 개방형 생성(open-ended generation) 설정과 통제된 재순위화(re-ranking) 확장 설정 모두에서 프레임워크를 평가합니다.

방법론

프레임워크 구현

저자들은 원본 논문의 이론적 정식화를 준수하면서 공개된 코드베이스에서 발견된 구현상의 불일치를 해결하며 FACTER를 처음부터 구현했습니다. 프레임워크는 두 단계로 작동합니다:

1. 오프라인 보정(Offline Calibration): 분할 등각 예측(split conformal prediction)을 사용하여 초기 수용 임계값($Q^{(0)}_\alpha$)을 설정합니다. 보정 인스턴스에 대해 예측 오차 항(실제 값으로부터의 편차)과 공정성 패널티(다른 보호 속성을 가진 "대조적 이웃"에게 주어진 추천과의 의미론적 거리)를 결합한 비공리 점수($S$)를 계산합니다.
2. 온라인 모니터링(Online Monitoring): 쿼리가 도착하면 시스템은 현재 임계값을 비공리 점수가 초과하는지 확인합니다. 위반이 발생하면:
   • 프롬프트 수선(Prompt Repair): 시스템은 위반과 관련된 빈번한 아이템 특징을 추출하여 시스템 프롬프트에 명시적인 "AVOID" 제약 조건을 주입합니다 (예: "Avoid: gender=F $\to$ Romance").
   • 임계값 적응(Threshold Adaptation): 지수 평활법(exponential smoothing)을 통해 임계값을 업데이트하여 수용 영역의 크기를 동적으로 조정합니다.

실험 설정

본 연구는 두 가지 데이터셋(MovieLens-1M 및 Amazon Movies & TV)과 세 가지 LLM 백본(Llama 2-7B, Llama 3-8B, Mistral-7B)에 대해 FACTER를 평가합니다.

• 태스크: 평가는 원본의 개방형 생성 태스크(LLM이 처음부터 아이템 제목을 생성하는 방식)와 새로운 제약된 재순위화(constrained re-ranking) 태스크(LLM이 고정된 후보 풀을 순위 매기는 방식)를 모두 다룹니다.
• 베이스라인: 본 연구는 반복적인 수선 루프 없이 정적인 공정성 지침을 사용하는 Fair Zero-Shot 베이스라인을 도입하여, 동적 메커니즘의 기여도를 격리하여 측정합니다.
• 지표: 공정성은 민감-중립 유사도 비율(SNSR) 및 **대조적 공정성 비율(CFR)**을 통해 측정되며, 이와 함께 **위반 횟수(Violation Counts)**를 측정합니다. 유용성은 Recall@k 및 NDCG@k를 통해 측정됩니다.

주요 결과

1. 개방형 생성의 재현 가능성

개방형 생성 태스크를 엄격하게 재현했을 때, 저자들은 추천 유용성의 상당한 괴리를 관찰했습니다.

• 유용성 격차: 재현된 모델은 NDCG@10 및 Recall@10 점수가 거의 0에 가까운 결과를 보였으며, 이는 원본 연구에서 보고된 강력한 결과와 극명하게 대조되었습니다. 이 격차는 제로샷 생성의 어려움과 원본 작업의 미비한 타겟 세트 평가 프로토콜(예: 문자열 매칭 허용 오차 및 관련성 세트 구축) 때문인 것으로 분석됩니다.
• 공정성 추세: 유용성 격차에도 불구하고, FACTER는 중립 베이스라인에 비해 적응형 임계값 위반 횟수를 일관되게 감소시켰습니다. 그러나 이러한 감소가 글로벌 공정성 지표(SNSR, CFR)의 개선으로 반드시 이어지지는 않았습니다. 일부 사례에서는 FACTER의 CFR이 중립 베이스라인보다 더 나쁜 결과를 보이기도 했습니다.

2. 재순위화 확장에서의 성능

고정된 후보 세트가 존재하는 통제된 재순위화 설정에서:

• 유용성: 추천 유용성이 개방형 생성보다 현저히 높았으며, 이는 검색 공간이 제한될 때 기반 LLM이 관련 아이템을 식상할 수 있음을 확인해 줍니다.
• 공정성: FACTER는 낮은 적응형 위반 횟수를 유지했습니다. 그러나 **정적 공정성 지침(Fair Zero-Shot)**이 동적 FACTER 루프와 대등한 의미론적 패리티 결과(SNSR, CFR) 및 고정 임계값 위반 횟수를 달성했습니다.
• 임계값 역학: 위반 횟수의 감소는 적응형 임계값에 크게 의존하는 것으로 나타났습니다. 인구 집단에 맞춰 보정된 고정 임계값에 대해 평가했을 때, FACTER의 위반 횟수는 베이스라인과 유사했습니다. 이는 겉보기의 개선이 근본적인 행동 변화보다는 임계값 완화에서 비롯되었음을 시사합니다.

3. 메커니즘 분석

비공리 점수에 대한 구성 요소 분석 결과, 반복 과정에서 예측 오차는 약간 개선되었으나 공정성 패널티는 실제로 증가했습니다. 이는 주입된 "AVOID" 제약 조건이 모델의 예측 분포를 압도하지 못하고, 잠재적으로 대조적 안정성을 불안정하게 만들 수 있음을 나타냅니다. 제약된 순위 형성 작업에서 동적 수선 루프는 정적 프롬프팅에 비해 제한적인 추가 이점만을 제공했습니다.

의의 및 주장

본 논문은 원본 논문과 코드의 모호함을 근거로, 결정적인 판결이라기보다는 **최선의 노력을 다한 재현 감사(best-effort reproduction audit)**로서 자신을 포지셔닝합니다. 주요 기여는 다음과 같습니다:

1. 한계 문서화: 원본의 개방형 생성 유용성 주장이 일치된 환경에서 재현되지 않았음을 밝히며, 이는 아마도 미비한 평가 프로토콜 때문일 것이라고 지적합니다.
2. 메커니즘 격리: Fair Zero-Shot 베이스라인을 도입함으로써, 반복적인 프롬프트 수선 루프가 제약된 순위 작업에서 정적 공정성 지침에 비해 제한적인 한계 이점만을 제공한다는 것을 입증합니다.
3. 임계값 vs 행동: FACTER의 주요 메커니즘은 프롬프트 수선을 통한 편향의 성공적인 제거라기보다 적응형 임계값 완화라는 점을 분석을 통해 제시합니다.
4. 재현의 제약: 본 연구는 개방형 생성 작업에서의 투명한 평가 프로토콜의 필요성과, 구현 세부 사항(예: 타겟 세트 구축, 지표 계산)이 모호할 때 모델 불가지론적 공정성 프레임워크를 재현하는 것의 어려움을 강조합니다.

저자들은 등각 예측이 내부 위반 횟수를 효과적으로 제한할 수는 있지만, 온라인 수선 루프의 실질적인 필요성은 의문이라고 결론짓습니다. 특히 제약된 환경에서는 정적 지침이 더 효율적인 대안이 될 수 있습니다. 그들은 디코딩 중에 의미론적 경계를 강제하는 메커니즘을 탐구하고, 예측 신뢰도에 대해 공정성 패널티를 더 잘 보정하는 것에 대한 향후 연구를 촉구합니다.