Organizational Learning in Materials Discovery Campaigns: Which Databases, Calculations, and Agent Teams Pay Off

현대적인 신소재 탐색 과정에서 과학자들은 종종 '풍요의 역설'에 직면합니다. 그들은 결정이 전기를 전도하는 방식부터 원자들이 얼마나 강하게 결합되어 있는지에 이르기까지, 다양한 물질에 대한 수백만 개의 계산된 특성을 담은 방대한 디지털 라이브러리에 접근할 수 있습니다. 단순히 이러한 디지털 기록을 더 많이 모으는 것만으로도 더 나은 발견으로 이어질 것이라는 기대가 오랫동안 지속되어 왔습니다. 만약 한 팀이 특정 에너지 갭을 가진 반도체나 부식에 강한 합금을 찾아야 한다면, 실험실에서 화학 물질을 섞기 전에 이 데이터베이스들을 참고할 수 있습니다. 그러나 이 데이터베이스들을 하나의 거대하고 방대한 진실의 집합체로 취급하는 것은 오해를 불러일으킬 수 있습니다. 마치 퍼즐을 풀려는 사람들이 모두가 서로 다른, 상충하는 답을 동시에 외쳐대면 혼란에 빠지는 것과 마찬가지로, 컴퓨터 알고리즘 또한 너무 많은 정보원을 평균 내려고 시도하다 보면 잘못된 길로 빠질 수 있습니다. 과제는 단순히 올바른 데이터를 찾는 것이 아니라, 어떤 출처가 실제로 현실과 일치하는지, 그리고 어떤 출처가 단지 서로를 반복하거나 소음만을 제공하고 있는지를 파악하는 것입니다.

이것이 바로 유타 대학교의 연구진이 조직이 학습하는 방식의 관점에서 재료 발견 과정을 살펴보고 해결하고자 했던 핵심적인 수수께끼입니다. 그들은 과학적 캠페인을 단순한 일련의 계산 과정이 아니라, 각 구성원이 서로 다른 데이터베이스, 특정 유형의 컴퓨터 시뮬레이션, 또는 소프트웨어 에이전트인 하나의 '팀'으로 간주했습니다. 수천 번의 시뮬레이션된 캠페인을 실행함으로써, 그들은 모든 가능한 구성원들의 조합을 테스트하여 어떤 그룹이 가장 잘 작동하고 어떤 그룹이 팀을 갉아먹는지 확인했습니다. 그들의 목표는 지식이 집단 내에서 어떻게 이동하는지를 이해하는 것이었습니다. 즉, 새로운 정보원을 추가하는 것이 언제 도움이 되고, 언제 해가 되는지를 밝히는 것이었습니다. 그들은 그 답이 팀이 어떻게 구조화되어 있는지와 새로운 정보를 생성하는 데 드는 비용이 얼마인지에 따라 크게 달라진다는 것을 발견했습니다.

한 가지 주요 실험에서, 연구진은 전자가 도약하여 전기를 전도하는 데 필요한 에너지의 양을 나타내는 척도인 밴드 갭(band gap)을 기준으로 다양한 화학 화합물 군(family)의 순위를 매겼습니다. 그들은 각각 수백만 개의 계산된 값을 포함하고 있는 7개의 서로 다른 데이터베이스를 사용할 수 있었습니다. 직관적으로는 7개를 모두 사용하는 것이 가장 정확한 그림을 제공할 것이라고 생각할 수 있습니다. 그러나 연구진은 엄선된 단 3개의 작은 그룹을 사용하는 것이 7개 전체를 사용하는 것보다 성능이 더 좋다는 것을 발견했습니다. 7개를 모두 포함했을 때, 재료의 순서를 정확하게 예측하는 팀의 능력은 현저히 떨어졌습니다. 문제는 일부 데이터베이스가 본질적으로 같은 내용을 말하고 있는 반면, 다른 데이터베이스들은 팀이 맞추고자 하는 실제 측정값과 충돌하는 예측을 제공하고 있었다는 점입니다. 너무 많은 출처를 하나로 묶음으로써, 팀은 최선의 출처로부터 오는 신호를 최악의 출처로부터 오는 소음으로 희석해 버렸습니다. 이 연구는 잘 정렬된 3개의 데이터베이스로 구성된 작은 팀이 전체 7개의 컬렉션보다 훨씬 더 높은 수준의 정확도를 달랄 수 있음을 보여주었습니다.

연구진은 또한 중복성이 함정이 될 수 있다는 사실도 발견했습니다. 그들이 테스트한 두 개의 데이터베이스는 동일한 파이프라인에서 나왔으며 화학 화합물 군에 대해 동일한 순위를 포함하고 있었습니다. 이 두 가지를 팀의 별개 구성원으로 취급했을 때, 이들은 최종 투표에서 해당 단일 의견의 비중을 실질적으로 두 배로 높여 결과를 왜곡했습니다. 만약 팀이 이들을 중복으로 인식하고 하나로 셌다면 결과는 달라졌을 것입니다. 이는 미묘하지만 매우 중요한 점을 강조합니다. 즉, 더 많은 데이터가 반드시 더 많은 정보를 의미하는 것은 아니라는 점입니다. 두 출처가 서로의 복사본이라면, 두 번째 것을 추가하는 것은 새로운 지식을 더하는 것이 아니라 기존 의견에 무게를 더할 뿐이며, 그 의견이 최선의 것이 아닐 경우 이는 해로울 수 있습니다.

또 다른 핵심 발견은 새로운 지식을 창출하는 비용에 관한 것이었습니다. 재료 과학에서 어떤 데이터는 이미 아카이브에 보관되어 있어 무료로 사용할 수 있습니다. 반면, 다른 데이터는 시간과 컴퓨형 능력을 소모하는 값비싼 컴퓨터 시뮬레이션을 실행하여 생성해야 합니다. 연구진은 새로운 데이터를 생성하는 것이 그 데이터가 여러 번 재사용될 때만 가치가 있다는 것을 발견했습니다. 시뮬레이션에서 새로운 계산 세트는 기존 데이터베이스에 없는 화학 화합물을 다루었기 때문에 초기 단계에서 팀이 최적의 재료를 찾는 데 도움을 주었습니다. 그러나 계산을 실행하는 비용을 고려하면, 새로운 데이터는 오히려 팀을 뒤처지게 만들었습니다. 새로운 정보를 갖는 것의 이점은 동일한 계산이 여러 다른 연구 캠페인 전반에 걸쳐 공유될 때만 나타났습니다. 만약 팀이 새로운 영토의 지도를 만드는 데 자원을 쓴다면, 그 지도는 다른 팀들도 그 지도를 사용할 때 비로소 본전을 뽑을 수 있습니다.

이 연구는 인공지능 에이전트 팀이 어떻게 협력하는지에 대해서도 살펴보았습니다. 연구진은 언어 모델 에이전트(이유를 추론하고 결정을 내리도록 설계된 소프트웨어 프로그램) 그룹을 테스트하여, 이들이 무작위 탐색보다 더 빠르게 최적의 재료를 찾기 위해 협력할 수 있는지 확인했습니다. 놀랍게도, 이 에이전트 팀은 단순한 무작위 탐색만큼의 성과를 내지 못했습니다. 에이전트들이 명확한 리더 없이 작동할 때, 그들은 종종 같은 작업을 반복하며 기회를 놓쳤습니다. 코디네이터를 추가하여 업무를 할당했을 때 팀의 성능이 약간 향상되었지만, 여전히 무작위 탐색이라는 기준치를 넘어서지는 못했습니다. 이는 단순히 더 똑똑한 에이전트를 추가한다고 해서 자동으로 더 똑똑한 팀이 만들어지는 것이 아니라, 그들이 정보를 공유하고 소통하는 구조가 개별 지능만큼이나 중요하다는 것을 시사합니다.

아마도 가장 역동적인 부분은 스스로 구조를 변경할 수 있는 적응형 팀에 관한 연구였을 것입니다. 고정된 계층 구조(항상 한 명의 구성원이 대장인 구조) 대신, 이 팀은 매 배치(batch)의 결과가 나올 때마다 구성원을 재평가했습니다. 만약 한 구성원의 예측이 관찰된 현실과 어긋나기 시작하면, 팀은 그 구성원에 대한 신뢰도를 낮췄습니다. 만약 두 구성원이 서로 일치하는 의견을 내놓으면, 팀은 노력을 낭비하지 않기 위해 그들을 하나의 단위로 병합했습니다. 이러한 유연한 접근 방식 덕분에 팀은 고정된 구조보다 더 빠르게 최적의 재료를 찾을 수 있었지만, 여전히 단일 최고의 구성원이 혼자 작업할 때보다는 성능이 떨어졌습니다. 핵심은 팀이 자신의 기록으로부터 학습하여, 신뢰할 수 있다고 증명된 구성원을 신뢰하고 그렇지 않은 구성원을 무시하는 것이었습니다.

궁극적으로, 이 연구는 재료 발견의 미래가 더 많은 데이터를 수집하는 것이 아니라, 그 데이터를 어떻게 선택적으로 사용할 것인가에 달려 있음을 시사합니다. 성공적인 캠페인은 사용 가능한 모든 것을 사용하기보다는, 당면한 특정 문제에 적합한 몇 개의 잘 정렬된 출처를 통합해야 합니다. 중복된 출처는 단일한 목소리로 취급해야 하며, 새로운 계산에 비용을 지불하는 것은 그것이 재사용될 때만 이루어져야 합니다. 가장 중요한 것은, 팀이 자신의 경험으로부터 학습하여 성과가 좋은 구성원에게 신뢰를 옮기고 그렇지 않은 구성원은 버릴 수 있어야 한다는 것입니다. 이러한 조직 학습의 원칙을 적용함으로써, 과학자들은 더 큰 속도와 정확도로 복잡한 재료 발견의 지형을 헤쳐 나가는 더 효율적인 팀을 구축할 수 있습니다.