Leveraging AI for fine-grained food safety risk forecasting in sparse data conditions

식품 안전의 세계를 매일 수백만 개의 식사가 준비되는 거대하고 북적이는 주방이라고 상상해 보십시오. 목표는 단순합니다. 아무도 병에 걸리지 않게 하는 것입니다. 하지만 문제는 여기에 있습니다. 확인해야 할 접시가 너무 많고, 조사관들은 아주 작은 손전등 하나와 제한된 시간만을 가지고 있다는 점입니다. 과거에는 특정 도시가 안전한지 알고 싶다면, 누군가 병에 걸리거나 조사관이 우연히 통 속에서 나쁜 사과를 골라낼 때까지 기다려야 했습니다. 이것은 마치 폭풍이 이미 시작된 후에야 하늘을 보고 날씨를 예측하려는 것과 같습니다. 과학자들은 이를 "반응적(reactive)" 모니터링이라고 부릅니다. 연구자들이 던진 핵심 질문은 이것입니다. "데이터가 충분하지 않아 시야가 흐릿할 때조차, 첫 빗방울이 떨어지기 전 폭풍이 어디로 오고 있는지 알려주는 수정구슬을 만들 수 있을까?" 이 논문은 바로 그 질문을 파고듭니다. 과거의 작은 단서들과 경제 및 날씨라는 큰 그림의 힌트를 결합하여, 식품 문제가 어디서 잘못될지 추측하는 슈퍼 스마트한 탐정 역할을 하는 인공지능(AI)을 사용하여 말입니다.

왕동치(Dongqi Wang)와 그의 팀이 이끄는 연구진은 "희소 데이터(sparse data)" 문제를 해결하기로 했습니다. 이는 단순히 "좋은 추측을 하기에는 숫자가 충분하지 않다"는 뜻의 멋진 표현입니다. 보통, 어떤 도시에서 사과 10개를 검사했는데 그중 하나가 나빴다면, 과수원 전체가 썩은 것인지 아니면 단지 운이 없었던 것인지 확신할 수 없습니다. 전통적인 수학은 여기서 종종 실패합니다. 이를 해결하기 위해 팀은 **트랜스포머(Transformer)**라고 불리는 거대한 AI 모델(많은 현대적 챗봇의 두뇌 뒤에 있는 것과 같은 종류)을 구축하고, 2014년부터 이어진 중국의 1,100만 개 이상의 검사 기록을 학습시켰습니다. 하지만 거기서 멈추지 않았습니다. 그들은 온도, 소득 수준, 오염도, 도시 인구와 같은 추가적인 단서들도 함께 섞었습니다.

그들의 방법론의 비결은 **윌슨 구간(Wilson interval)**이라는 영리한 수학적 기교입니다. 이것은 데이터에 대한 "안전망"이라고 생각하면 됩니다. 단순히 "사과 10개 중 1개가 나쁘다"라고 말하는 대신, 윌슨 구간은 "우리가 10개의 사과만 검사했다는 점을 고려할 때, 실제 나쁜 사과의 수는 X와 Y 사이 어딘가에 있을 것이다"라고 말합니다. 이는 AI가 작은 표본 크기가 많은 불확실성을 동반한다는 것을 이해하도록 도와주며, 단 하나의 나쁜 사과 때문에 패닉에 빠지거나 아직 많은 샘플을 보지 못했다고 해서 실제 위험을 무시하는 것을 방지합니다.

연구진은 학생이 새로운 기술을 배우는 과정처럼 세 가지 특별한 단계로 AI를 훈련시켰습니다. 첫째, AI가 과거를 바탕으로 미래를 추측하는 게임을 하게 했습니다(자기 지도 학습). 둘째, 윌슨 구간 수학을 바탕으로 도시들을 "가장 안전한" 곳부터 "가장 위험한" 곳까지 순위를 매치도록 가르쳤습니다. 마지막으로, AI가 흐릿하고 불확실한 데이터 포인트에서도 교육적인 추측을 할 수 있도록 "준지도 학습(semi-supervised)" 방식을 사용했습니다. 2022년 데이터를 통해 이 시스템을 테스트했을 때, 결과는 인상적이었습니다. AI 모델은 단순히 추측한 것이 아니라, 다른 표준 컴퓨터 모델들을 크게 압도했습니다. 이 모델은 한 달 앞서 식품 안전 위험이 높을 도시를 거의 90%의 정확도로 예측해 냈으며, 다른 모델들이 놓친 훨씬 더 많은 실제 위험을 잡아냈습니다.

하지만 진짜 시험은 컴퓨터 화면 속이 아니라 현실 세계였습니다. 연구진은 2024년 10월 항저우에서 저장성 시장 감독 관리국과 협력하여 현장 실험을 실시했습니다. 그들은 업무를 두 그룹으로 나누었습니다. 한 그룹은 인간 조사관이 평소의 직감에 따라 어디를 조사할지 결정했고, 다른 한 그룹은 AI의 지도를 따랐습니다. 결과는 어떠했을까요? AI의 안내를 받은 팀은 식품 항목의 11%가 부적합하다는 것을 발견한 반면, 인간만 참여한 팀은 9%만을 발견했습니다.

여기서 정말 흥별나는 부분이 나옵니다. AI는 "신선 식품점"의 위험 점수가 매우 낮았기 때문에 아예 건너뛰라고 제안했습니다. 그러나 인간의 계획은 그곳에 조사관을 보냈고, 그곳에서는 아무런 문제도 발견되지 않았습니다. AI는 위험도가 높은 것으로 지목한 재래시장 같은 곳에 집중함으로써 시간과 자원을 절약했습니다. 하지만 이 연구는 인간의 특이한 습성도 찾아냈습니다. 관리자들은 AI의 상세한 위험 점수를 단순한 "예/아니오" 스위치처럼 취급하는 경향이 있었습니다. 만약 AI가 어떤 곳이 "어느 정도 위험하다"라고 말하면, 그들은 그것을 "매우 위험하다"와 똑같이 취급했습니다. 이 논문은 AI가 강력한 도구이긴 하지만, 인간이 AI의 예측에 담긴 미묘한 차이를 완전히 이해하기 위해서는 더 나은 교육이나 사용자 친화적인 인터페이스가 필요할 수 있음을 시사합니다.

요약하자면, 이 논문은 방대한 양의 역사적 데이터와 불확실성을 다루는 스마트한 방법을 결합함으로써, 식품 안전 위협이 재앙이 되기 전에 포착하는 조기 경보 시스템을 구축할 수 있음을 보여줍니다. 이것은 모든 것을 즉각 해결하는 마법 지팡이는 아니지만, 적절한 AI와 인간의 노력이 결다면 문제가 발생한 후에 쫓아가는 것이 아니라 발생하기 전에 막는 방향으로 나아갈 수 있음을 시사합니다. 이 연구는 데이터가 부족하거나 지저잡더라도, 고급 AI가 우리의 식품을 안전하게 지키기 위해 필요한 패턴을 찾아낼 수 있음을 증명합니다.