An Empirical Analysis of Continual Learning for Heterogeneous Medical Visual Question Answering

당신에게 X선, 초음파, 현미경 슬라이드를 보고 숙련된 의사처럼 질문에 답할 수 있는 초지능 의료 로봇 비서가 있다고 상상해 보세요. 이 로봇은 시간이 지나면서 새로운 기술을 배울 수 있도록 설계되었습니다. 하지만 여기에는 함정이 있습니다. 현실 세계에서 의사들은 모든 훈련 데이터를 한꺼번에 볼 수 없습니다. 오늘은 새로운 유형의 사례를 접하고, 내일은 또 다른 종류를 접하며, 다음 주에는 완전히 새로운 도전에 직면합니다. 만약 로봇이 새로운 기술을 너무 강하게 배우려고 하면, 예전에 했던 것들을 완전히 잊어버릴 수 있습니다. 이것을 '파괴적 망각(catastrophic forgetting)'이라고 부르는데, 이는 마치 학생이 수학 시험 공부를 너무 열심히 한 나머지 자신의 모국어를 말하는 법을 갑자기 잊어버리는 것과 같습니다.

이 논문의 연구자들은 이 로봇을 혹독한 "연속 학습(continual learning)" 부트 캠프에 몰아넣기로 했습니다. 그들은 단순히 유사한 작업들을 준 것이 아니라, 매우 다른 다섯 가지의 직업을 혼란스럽게 섞어서 던져주었습니다:

1. 분류(Classification): 목록 중 하나를 선택하기 (예: "이 병변은 양성인가 악성인가?")
2. 다중 레이블 분류(Multi-label Classification): 한 번에 여러 개의 답을 선택하기 (예: "관찰된 모든 이상 징후를 선택하시오")
3. 탐지(Detection): 특정 지점에 상자를 그리기 (예: "태아의 머리는 어디에 있는가?")
4. 세포 계수(Cell Counting): 정확한 숫자 제시하기 (예: "여기에 세포가 몇 개 있는가?")
5. 보고서 생성(Report Generation): 이미지를 설명하는 긴 자유 형식의 문단 작성하기.

주요 발견: 로봇이 혼란에 빠지다
이 연구의 주요 발견은 과학자들이 로봇이 이전 작업을 기억하면서 새로운 작업을 학습하도록 돕기 위해 사용하는 기존의 "마법 주문"(알고리즘)들이, 작업들이 이토록 다를 때는 고전한다는 것입니다. 저자들은 기존의 방법들이 로봇의 유연성(가소성, plasticity)과 안정성(stability) 사이의 균형을 완벽하게 맞추지 못한다고 제안합니다.

이것은 피자를 만드는 데 능숙한 요리사가 갑자기 케이크를 굽고, 생선을 손질하고, 쌀알의 개수를 세고, 마지막으로 음식 평론가의 리뷰를 써달라는 요청을 받는 것과 같습니다. 만약 요리사가 케이크를 사용했던 것과 동일한 "기억 보존" 기술을 사용하여 생선 레시피를 배우려 한다면, 피자에 생선 소스를 뿌리거나 쌀알의 개수를 세는 법을 잊어버릴 수도 있습니다. 이 논문은 이러한 서로 다른 "레시피"(작업)들이 섞일 때 로봇의 기억이 엉망이 된다는 것을 보여줍니다.

이 논문이 부정하는 것들
저자들은 단순히 유사한 작업들에 효과적이었던 기존의 기술들을 그대로 사용할 수 있다는 생각에 명시적으로 반대합니다. 그들은 로봇이 "쉬운 것에서 어려운 것"으로(예: 단순 분류에서 시작하여 복잡한 보고서로 이동) 학습할 때는 잘 작동하던 방식들이, 순서가 뒤섞이거나 작업이 너무 다를 때는 고전한다는 것을 보여줍니다.

또한, 단순히 과거의 데이터를 "반복 학습"(새로운 사진을 가르치는 동안 예전 사진을 보여주는 것)하는 것이 만능 해결책(silver bullet)은 아니라는 점도 부정합니다. 그것이 조금은 도움이 되긴 하지만, 로봇이 다른 모든 것을 잊어버리는 것을 막지는 못합니다. 실제로 그들은 O-LoRA(각 작업에 자신만의 별도 "노트"를 부여하려는 시도)라는 방법이 더 큰 망각 스파이크를 나타내어, 특정 시나리오에서 상당한 성능 저하를 일으킨다는 것을 발견했습니다.

"LoRA" 배낭 비유
왜 이런 일이 발생하는지 이해하기 위해, 로봇의 뇌에 절대 변하지 않는 거대하고 무거운 배낭(메인 모델)이 있다고 상상해 보세요. 새로운 것을 배우기 위해 로봇은 배낭 바깥에 LoRA라고 불리는 작고 가벼운 "주머니" 또는 어댑터만을 추가합니다.

• 실험: 연구자들은 로봇이 새로운 작업을 학습함에 따라 이 주머니들이 어떻게 움직이고 늘어나는지 관찰했습니다.
• 관찰: 로봇이 "보고서 생성" 작업(긴 이야기를 쓰는 것)을 학습할 때, 주머니를 아주 기이한 방향으로 늘렸습니다. 만약 이 일이 훈련 초기에 발생한다면, 나중에 수행할 짧고 정밀한 작업들을 수행하는 능력을 망가뜨립니다.
• 결과: EWC(Elastic Weight Consolization)라는 방법이 가장 일관성이 있었습니다. 그것은 주머니들이 너무 멀리 떨어지지 않도록 잡아주는 신축성 있는 고무줄처럼 작동했습니다. 하지만 EWC조차 완벽하지는 않았습니다. 여전히 어떤 것들은 잊어버린다는 것을 시사했지만, 다른 방법들보다는 덜 잊어버렸습니다.

숫자는 거짓말을 하지 않는다
논문은 "망각 비율(Forgetting Ratio, FR)"을 사용하여 로봇이 얼마나 잊었는지 정확히 측정했습니다. 여기서 0은 망각 없음, 1은 완전한 건망증을 의미합니다.

• 로봇이 단순한 순서(쉬움 → 어려움)로 학습했을 때, "나이브(naïve)"한 방식(특별한 기억 기술 없이 그냥 학습하는 것)의 분류 작업에 대한 망각 비율은 0.94였습니다. 이는 거의 완전한 망각입니다!
• 가장 좋은 방법들조차 망각 비율을 0으로 만들지 못했습니다. 예를 들어, EWC 방법은 분류 작업에 대한 망각 비율을 한 순서에서 0.40까지 줄였지만, 여전히 완벽하지는 않았습니다.
• "탐지(Detection)" 작업(상자 그리기)은 모두에게 큰 고역이었습니다. 어떤 방법을 사용하더라도, 탐지 작업에 대한 로봇의 성능은 지속적으로 낮았으며, 여러 경우에서 망각 비율이 1.00(완전한 망각)에 도달했습니다.

순서가 매우 중요하다
연구자들은 세 가지 "커리큘럼"(학습 순서)을 테스트했습니다:

1. 순서 A (쉬움 → 어려움): 분류 → 다중 레이블 → 탐지 → 계수 → 보고서.
2. 순서 B (어려움 → 쉬움): 보고서 → 계수 → 탐지 → 다중 레이블 → 분류.
3. 순서 C (혼합): 무작위 셔플.

그들은 로봇의 성능이 순서에 크게 의존한다는 것을 발견했습니다. 만약 로봇이 긴 보고서를 쓰는 법을 먼저 배웠다면(순서 B), 로봇은 혼란에 빠져 단순한 예/아니오 질문을 받을 때도 긴 문단을 작성하기 시작했습니다. 이러한 "표류(drift)" 현상은 학생에게 답변을 짧게 유지하도록 강요하는 엄격한 선생님 역할을 하는 KD(Knowledge Distillation) 방법에서는 덜 나타났지만, 여전히 모든 것을 해결할 수는 없었습니다.

결론
저자들은 우리가 아직 이 문제를 해결하지 못했다고 결론짓습니다. 현재의 "기억 보존" 기술들은 작업이 끊임없이 변하고 서로 매우 다른 모습인 병원의 혼란스러운 현실을 감당하기에는 충분히 강력하지 않습니다. 그들은 이를 해결하기 위해 단순히 로봇의 주머니를 조정하는 것 이상의 것이 필요하며, 로봇이 언제 모자를 바꿔 써야 하는지 정확히 알 수 있도록 로봇의 행동을 정렬해야 한다고 제안합니다.

현재로서는, 이 논문은 우리가 진전을 보이고 있기는 하지만, 메뉴가 너무 빠르게 바뀔 때 로봇이 망각 없이 지속적으로 학습한다는 꿈은 여전히 진행 중인 과제임을 시사합니다. 특히 작업의 범위가 세포를 세는 것부터 에세이를 쓰는 것까지 걸쳐 있을 때는 더욱 그렇습니다. 저자들은 다른 사람들이 이 수치들을 깨뜨릴 수 있도록 코드를 공개할 계획이지만, 현재로서는 메뉴가 너무 빨리 바뀔 때 로봇은 여전히 좀 잘 까먹는 편입니다.