A Workflow for Grant Discovery and Proposal Development Using Large Language Models: Development and Formative Evaluation

거대한, 혼란스러운 도서관 속에서 숨겨진 보물 상자를 찾으려 한다고 상상해 보십시오. 그곳의 책들은 제목이 계속 바뀌고, 지도는 투명 잉크로 그려져 있으며, 금고에 입장할 수 있는 규칙도 매일 바뀝로 변합니다. 이것이 개발도상국의 소규모 헬스테크 기업들이 마주한 일상의 현실입니다. 그들은 인공지능을 이용해 생명을 구출할 데 기발한 아이디어를 가지고 있지만, 그 도구들이 실제로 작동한다는 것을 증명하기 위해 자금(보조금)이 필요합니다. 문제는 무엇일까요? 그 돈을 찾는 것은 불타는 건초더미 속에서 바늘을 찾는 것과 같습니다. 그들은 수천 개의 자금 출처를 스캔하고, 자신들이 신청 자격이 있는지 파고들며, 낯선 이들에게 현금을 달라고 설득하기 위해 복잡한 이야기를 써 내려가야 합니다. 만약 그들이 바늘을 찾는 데 모든 시간을 소비한다면, 생명을 구하는 기계를 만드는 일은 결코 시작하지 못할 것입니다.

여기 "대규모 언어 모델(LLM)"이 등장합니다. LLM을 초고속으로 읽고 쓰는 로봇 조수라고 생각해보십시오. 이 로봇은 몇 초 만에 수백만 페이지를 읽고 편지 초안을 즉시 작성할 수 있습니다. 하지만 여기에는 함정이 있습니다. 만약 로봇을 제멋대로 풀어둔다면, 로봇은 무언가를 지어내거나, 규칙에 대해 거짓말을 하거나, 실수로 비밀을 누설할 수도 있습니다. 그래서 핵심 질문은 "로봇이 일을 할 수 있는가?"가 아니라, "우리가 로로봇 주변에 우리를 가둘 수 있는 '우리(cage)'를 만들어서, 로봇이 지루한 일을 빠르게 처리하는 동안 인간이 통제권을 유지하며 실수를 막을 수 있는가?"입니다. 이 논문은 바로 이 점, 즉 헬스테크 팀이 정신줄을 놓치거나 정직함을 잃지 않으면서 자금을 찾을 수 있도록 돕는 스마트하고 안전한 시스템을 구축하는 방법을 탐구합니다.

---

로봇 사서와 인간 선장

콜롬비아에서 병원을 위한 스마트 도구를 만들고 있는 작은 팀, '아르카젤 AI(Arkangel AI)'를 만나보십시오. 그들은 발명품을 테스트하기 위해 자금이 필요했지만, 팀 규모가 매우 작았습니다. 그들은 거대한 보조금 작성 군단을 고용할 여유가 없었습니다. 그래서 그들은 보조금을 사냥하기 위한 하나의 "워크플로우(workflow)"—즉, 단계별 조립 라인—를 구축했습니다. 하지만 단순히 인간만이 수행하는 것이 아니라, 대규모 언어 모델(로봇 사서)을 초대하여 도움을 받되, 연구자들인 '인간 선장'이 키를 단단히 잡도록 했습니다.

그들의 새로운 시스템은 네 가지 재미있는 단계로 나뉩니다.

1단계: 보물 찾기 (발견)
예전에는 팀원들이 검색 엔진에 "health AI grant"라고 입력하고 운 좋게 걸리기를 기도하곤 했습니다. 그것은 마치 넓은 바다에 낚싯바늘 하나를 던지는 것과 같았습니다. 새로운 시스템에서 로봇 사서는 50개의 서로 다른 검색 전략으로 만든 그물을 가지고 낚시를 합니다. 로봇은 단순히 "보조금"만 찾는 것이 아니라, 팀의 특정 위치와 제품에 기반하여 "혁신상", "정부 프로그램", "파트너십" 등을 찾습니다.

• 결과: 로봇은 단 일주일 만에 741개의 서로 다른 출처를 스캔했습니다. 그리고 352개의 잠재적 후보를 찾아냈습니다. 하지만 잠깐! 로봇은 빠르지만 완벽하지는 않습니다. 로봇은 또한 220개의 중복 항목(동일한 보조금이 두 번 나타남)을 걸러냈고, 필터링을 통과하여 실제로 유망한 83개의 후보를 선별해 내었습니다. 인간 선장이 개입하여 "그래, 이것은 진짜다"라고 말하기 전까지는 다음 단계로 넘어가지 않았습니다.

2단계: 문 앞의 보안 요원 (트리아지/선별)
이제 로봇이 잠재적인 보조금 더미를 확보했으니, 팀은 어떤 것에 노력을 기울일지 결정해야 합니다. 여기서 "트리아지(Triage, 선별)"가 일어납니다. 로봇은 규칙을 확인합니다: 비영리 단체 전용인가? 유럽에 파트너가 필요한가? 마감 기한이 어제였나?
시스템은 특별한 "재등장 금지(Do Not Resurface)" 목록을 사용합니다. 만약 로봇이 특정 보조금이 유럽 기업 전용이라는 것을 깨달으면, 이를 "재등장 금지"로 표시합니다. 이는 클럽의 보안 요원이 "이봐, 지난주에 들어오려고 했지만 신분증이 없었잖아. 다시 시도할 필요 없어"라고 기억하는 것과 같습니다. 이를 통해 팀이 불가능한 작업에 시간을 낭비하는 것을 방지합니다. 인간 선장은 기회를 계속 가져갈지 아니면 쓰레기통에 버릴지에 대한 최종 결정을 내립니다.

3단계: 스코어보드 (승리 준비도)
모든 보조금이 다 똑같은 가치를 지닌 것은 아닙니다. 어떤 것은 따기 쉽고, 어떤 것은 복권 당첨만큼 어렵습니다. 팀은 이들을 순위 매기기 위해 "승리 준비도 점수(Win Readiness Score)"를 만들었습니다.

• 수학적 접근: 그들은 정확한 당첨 확률을 예측하려고 하지 않았습니다(확신할 만큼 과거 데이터가 충분하지 않았기 때문입니다). 대신, 다음과 같은 기준에 따라 각 보조금에 점수를 부여했습니다: 우리는 자격이 되는가? 우리의 미션이 그들의 미션과 일치하는가? 보통 얼마나 많은 사람이 이 보조금을 받는가?
• 결과: 점수를 매긴 49개의 보조금 중, 5개가 매우 유망하여 인터뷰나 최종 단계까지 진출했습니다. 이 점수는 그들이 막연히 추측하는 대신, 어떤 보조금에 대해 먼저 글을 쓸지 결정하는 데 도움을 주었습니다.

4단계: 초안 작성소 (제안서 개발)
이 단계는 로봇이 정말 빛을 발하는 곳입니다. 선장이 "이것을 써보자"라고 결정하면, 로봇이 초안 작성을 시작합니다. 로봇은 지루한 부분을 작성하고, 규칙을 요약하며, 인용 문헌(사실의 근거)이 실제 존재하는지 확인합니다.

• 안전망: 로봇은 아무것도 제출할 권한이 없습니다. 단 한 단어라도 기부자에게 전달되기 전에, 반드시 인간 선장이 검토해야 합니다. 그들은 확인합니다: 로봇이 사실을 지어냈는가? 우리가 공유해서는 안 될 비밀이 포함되었는가? 이야기가 사실인가?
• 기억: 모든 초안, 이메일, 결정 사항은 디지털 "타임캡슐"(버전 관리 저장소)에 저장됩니다. 만약 내년에 유사한 보조금을 신청해야 한다면, 처음부터 다시 시작하는 대신 예전의 작업물을 꺼내 쓸 수 있습니다.

이것이 실제로 의미하는 것 (그리고 의미하지 않는 것)

이 논문은 그들이 발견한 것과 발견하지 못한 것에 대해 매우 명확하게 밝히고 있습니다.

• 발견한 것: 시스템은 효과가 있었습니다! 이 시스템은 팀이 보조금을 찾고 정리하는 속도를 훨씬 빠르게 만들었습니다. 검색 전략을 조정한 후, 그들은 하루에 약 5~6개의 좋은 보안금을 찾던 것에서 한 번의 탐색 주기당 약 18개의 적합한 보조금을 찾는 수준으로 발전했습니다. 그들은 200개 이상의 기회를 처리했고, 단 몇 주 만에 46개의 새로운 실행 가능한 항목을 만들어냈습니다.
• 발견하지 못한 것: 그들은 로봇을 사용하는 것이 더 많은 돈을 따게 만든다는 것을 증명하지는 못했습니다. 그들은 단지 로봇이 보조금을 찾고 작성하는 '업무'를 더 효율적으로 수행하도록 돕는다는 것을 증명했을 뿐입니다. 보조금을 따내는 것은 아이디어의 질이나 다른 지원자 수와 같은 다른 많은 요소에 달려 있으며, 이 시스템은 이를 제어하지 못합니다.
• "안 돼" 리스트: 논문은 명시적으로 말합니다: 로봇이 혼자서 전체를 작성하게 두지 마십시오. 만약 인간의 검토 없이 로봇을 마음대로 풀어둔다면, 거짓말을 하거나, 규칙을 어기거나, 평판을 잃을 위험이 있습니다. 로봇은 도구이지, 과학자를 대체하는 존재가 아닙니다.

호기심 많은 이들을 위한 시사점

이 논문은 돈을 찾기가 어려운 세상에서 "인간-로봇 팀"을 위한 청사진과 같습니다. 이는 인간의 판단력과 로봇의 속도를 결합하면 빠르고도 안전한 무언가를 구축할 수 있음을 보여줍니다.

콜롬비아와 같이 자원이 제한된 지역의 소규모 팀에게 이 워크플로우는 게임 체인저입니다. 이것은 혼란스럽고 압도적인 서류 작업의 늪을 깔끔하고 조직화된 파이프라인으로 바꿔줍니다. 이 시스템이 돈을 따준다고 보장하지는 않지만, 너무 지쳐서 기회를 놓치는 일은 없도록 보장합니다. 그리고 가장 중요한 것은, 인간의 판단력과 로봇의 속도를 결합할 때 빠르면서도 안전한 것을 만들 수 있다는 것을 입증했다는 점입니다.