기술 요약: 농약 위해성 평가에서의 등가성 검정 (Equivalence Testing)

문제 정의

농약에 대한 규제적 위해성 평가는 역사적으로 "효과 없음"이라는 귀무 가설에 대한 차이 검정(유의성 검정)에 의존해 왔습니다. 이러한 접근 방식은 변동성이 크거나 반복 횟수가 적은 저전력 연구(underpowered studies)에서 큰 위해 효과를 감지하지 못하는 제2종 오류(위음성)에 취기 쉽습니다. 결과적으로, 화분 매개자에게 해로운 농약이 규제 승인을 받은 후 나중에 제한되거나 금지되는 사례가 발생해 왔습니다.

이에 따라 유럽 식품안전청(EFSA)은 군집 크기의 10% 감소라는 특정 보호 목표(Specific Protection Goal, SPG)를 초과하지 않도록 하는 등가성 검정(구체적으로는 비열등성 검정)으로 전환하는 2023년 개정 지침을 발표했습니다. 그러나 이 프레임워크는 과도한 현장 반복 실험을 요구하여 규제 승인을 실무적으로 불가능하게 만든다는 비판에 직면했습니다. 특히 Hotopp 등(2024)은 대조군의 90% 신뢰구간 하한선을 기준으로 처리 효과를 정의하는 'Hotopp 검정'을 대안으로 제시하며, 이것이 자연적 변동성을 더 잘 반영한다고 주장했습니다. 본 논문이 다루는 핵심 문제는 EFSA의 권고안과 Hotopp의 대안 중 어느 것이 고위험 농약을 "저위험"으로 잘못 분류하는 것을 더 잘 방지하는지, 그리고 신뢰할 수 있는 평가를 위한 실제 표본 크기 요구사항은 무엇인지에 관한 것입니다.

방법론

저자들은 실제 산업 연구(Rolke et al., 2016)의 대조군 데이터를 기초 분포 파라미터로 사용하여, 규제용 꿀벌 현장 연구를 모사한 광범한 모수적 부트스트랩 시뮬레이션을 수행했습니다.

시뮬레이션 설계:

• 데이터 생성: 저자들은 다양한 사이트 수(4~45개)와 사이트당 고정된 벌통 수(6개)를 가진 데이터셋을 시뮬레이션했습니다. 사이트 및 벌통에 대한 변량 효과를 포함하는 음이항 분포 기반의 일반화 선형 혼합 모델(GLMM)을 사용하여 초기 벌 수와 이후 시점 데이터를 생성했습니다.
• 처리 효과: 시뮬레이션된 농약은 0%에서 -20%(군집 크기 감소율) 사이의 실제 효과 크기를 할당받았습니다.
• 조정 전략: 저자들은 초기 군집 크기의 변동성을 처리하기 위한 네 가지 전략을 평가했습니다:
  1. 조정 없음: 초기 크기를 무시함.
  2. 설계 조정: 새로운 R 함수(experimental_allocation())를 사용하여 실험 전 처리군과 사이트 간의 초기 벌 수를 균형 있게 맞추는 **안티클러스터링 무작위 배정(anticlustering randomisation)**을 수행함.
  3. 통계적 조정: GLMM에 초기 벌 크기를 공변량으로 포함함.
  4. 결합 조정: 설계 조정과 통계적 조정을 모두 활용함.
• 검정 비교: 시뮬레이션은 세 가지 통계적 접근 방식을 비교했습니다:
  1. EFSA 등가성 검정: 효과가 10% SPG를 초과한다는 귀무 가설을 테스트하는 일방향 비열등성 검정 ($\alpha = 0.2$).
  2. Hotopp 등가성 검정: 대조군의 90% 신뢰구간 하한선으로 기준선을 이동시키는 대안 검정.
  3. 차이 검정: 전통적인 유의성 검정 (일방향, $\alpha = 0.05$).
• 평가 지표: 저자들은 파레토 도표(Pareto plots)를 사용하여 "저위험"으로 잘못 분류된 비율(등가성 맥락에서의 제1종 오류, 즉 잘못된 신뢰)과 "고위험"으로 잘못 분류된 비율(제2종 오류, 즉 잘못된 불신) 사이의 트레이드오프를 분석했습니다. 또한, 실제 효과 크기가 0% 및 -5%인 농약을 "저위험"으로 분류하기 위해 필요한 사이트 수를 결정했습니다.

주요 결과

1. EFSA vs. Hotopp 검정 비교

• 통계적 트레이드오프: 보호율을 일치시키기 위해 $\alpha$ 수준을 조정한다면, EFSA와 Hotopp 검정은 고위험과 저위험 농약을 구별하는 능력 면에서 통계적으로 동등한 것으로 나타났습니다. 그러나 Hotopp 검정은 다르게 보정됩니다. 명목 $\alpha = 0.2$에서 Hothopp 검정은 훨씬 높은 오류율로 작동하여, 고위험 농약을 "저위험"으로 잘못 분류하는 비율이 현저히 높았습니다.
• 잘못된 신뢰율(False Trust Rates): 권장 표본 크기(10개 사이트, 6개 벌통) 하에서, Hotopp 검정은 실제 효과가 -12%인 경우 50%, -15%인 경우 33%의 확률로 이를 "저위험"으로 오분류했습니다. 반면, EFSA 검정은 테스트된 모든 효과 크기에 대해 잘못된 신뢰율을 명목 임계치인 20% 미만으로 유지했습니다.
• Hotopp 검정에 대한 결론: 저자들은 Hottop 검정이 통계적 이점을 제공하는 것이 아니라, 오히려 검정의 엄격성을 낮추어 배경 변동성을 높임으로써 검정을 통과하도록 유도할 가능성이 있다고 결론지었습니다.

2. 표본 크기 요구사항

• 저위험 농약의 타당성: 실제 효과 크기가 0%인 농약의 경우, EFSA 등가성 검정은 현재 또는 약간 증가된 반복 횟수(조정 시 6~7개 사이트, 미조정 시 9개 사이트)로도 충분히 실행 가능합니다.
• 중등도 효과에 대한 요구사항: 실제 효과 크기가 -5%(허용 가능한 부정적 효과)인 농약의 경우, 조정 전략을 사용하면 24~25개 사이트가 필요하며, 미조정 시에는 약 34개가 필요함을 확인했습니다.
• 이전 지침과의 비교: 새로운 EFSA 지침(등가성 검정)의 사이트 요구사항은 7% 감소를 80% 검정력으로 탐지하기 위해 29~41개 사이트가 필요했던 2013년 지침(차이 검정)보다 일반적으로 낮습니다.

3. 공변량 조정의 영향

• 변동성 감소: 안티클러스터링 무작위 배정(설계 조정)과 통계적 조정(공변량 포함) 모두 80% 검정력을 달대한 데 필요한 사이트 수를 실질적으로 줄였습니다.
• 효율성: 초기 벌 크기를 조정하면 미조정 설계에 비해 -5% 효과 크기에 대한 사이트 요구사항을 약 10개 사이트 정도 줄일 수 있습니다. 저자들은 설계 조정이 자유도를 감소시키지 않고 사후 분석 조작으로부터 안전하기 때문에 더 바람직하다고 언급했습니다.

주요 기여

1. EFSA 지침의 타당성 입증: 본 논문은 시뮬레이션 기반 증거를 통해 EFSA 2023의 등가성 검정 프레임워크가 지정된 $\alpha$ 수준에서 오류율을 효과적으로 제어하며 통계적으로 견고함을 입증했습니다. 이는 Hotopp의 대안과는 대조적입니다.
2. 실질적인 표본 크기 추정: 본 연구는 다양한 효과 크기를 가진 농약의 안전성을 신뢰할 수 있게 입증하는 데 필요한 구체적인 사이트 수를 정량화했습니다. 이는 중등도 효과를 위해서는 추가적인 반복이 필요하지만, 이전의 차이 검정 패러다임보다는 오히려 적을 수 있음을 명확히 했습니다.
3. 방법론적 도구: 저자들은 변동성을 줄이고 사이트 요구사항을 줄이면서도 통계적 검정력을 해치지 않는 비용 효율적인 설계 전략으로서 안티클러스터링 무작위 배정을 도입하고 새로운 R 함수(experimental_allocation())를 통해 이를 검증했습니다.
4. 해석 프레임워크: 저자들은 "입증된 저위험", "입증된 고위험", 그리고 "고위험이 배제되지 않음"(유의하지 않은 결과)을 구분하는 미묘한 해석 체계를 제안하며, 유의하지 않은 등가성 검정을 확정적인 고위험의 증거로 보는 이분법적 해석에 반대합니다.

의의 및 주장

본 논문은 등가성 검정으로의 전환이 농약 위해성 평가를 위한 필수적이고 과학적으로 타당한 진화라고 주장합니다. 저자들의 주장은 다음과 같습니다:

• 보호 목표 달성: EFSA 등가성 검정은 오류율을 통제된 확률 내에서 관리하며, 화학 산업에 충분한 검정력을 갖춘 안전성 입증의 책임을 부여합니다.
• 공짜 점심은 없다: 표본 크기 요구사항을 줄이기 위해 (Hottop 등이 제안한 것처럼) 검정의 엄격성을 낮추려는 시도는 필연적으로 해로운 농약을 승인할 위험을 높입니다.
• 실행 가능성: 균형 잡힌 배정과 같은 변동성 감소 전략을 구현하면, 새로운 지침의 표본 크기 요구사항은 실행 가능하며, 더 작은 효과 크기를 탐지하기 위해 요구되었던 이전 지침보다 오히려 낮은 경우가 많습니다.
• 일반화 가능성: 이러한 원칙은 꿀벌을 넘어 모든 상위 단계 독성 시험에 적용될 수 있으며, 명확한 보호 목표, 비열등성 검정, 그리고 사전 실험적 변동성 감소 전략을 옹호합니다.

저자들은 이러한 관행(특히 균형 잡힌 배정과 결합된 EFSA 등가성 검정)의 광범위한 채택이 해로운 농약의 허가를 낮추고 규제 결과를 환경 보호 목표와 일치시킬 것이라고 결론짓습니다.