DeltaMerge-LowRes: Composing Language and Task Deltas for Low-Resource Adaptation

당신이 로봇에게 새로운 언어를 가르치는 동시에 새로운 종류의 퍼즐을 푸는 법을 가르치려 한다고 상상해 보세요. 보통은 로봇을 앉혀두고 교과서 한 더미와 정답지를 주며, 그 특정 조합을 위해 처음부터 모든 것을 배우도록 강요해야 합니다. 이는 마치 당신이 접할 수 있는 모든 언어의 모든 과목마다 개인 과외 선생님을 고용하는 것과 같습니다. 이는 느리고 비용이 많이 들며, 구하기 어려운 희귀 언어의 경우 많은 예시가 필요합니다.

하지만 로봇에게 두 가지 별개의 기술을 먼저 가르칠 수 있다면 어떨까요? 먼저, 로봇에게 새로운 언어의 문장 수백만 개를 읽게 하여 그 언어의 리듬과 어휘를 익히게 함으로써 "언어 모듈"을 줄 수 있습니다. 그다음, 이미 잘 알고 있는 영어로 된 예시들을 통해 특정 퍼즐(예: 질문에 답하거나 이야기를 요약하는 것)을 푸는 법을 가르쳐 "태스크 모듈"을 줄 수 있습니다. 연구자들이 던진 핵심 질문은 이것입니다. 우리가 이 미리 만들어진 두 모듈을 레고 블록처럼 딱 맞게 끼워 맞춰서, 로봇이 새로운 언어로 새로운 태스크를 수행하게 할 수 있을까요? 아니면 이들을 녹여서 다시 성형해야 할까요? 이 논문은 바로 이 질문을 탐구하며, 거대하고 비싼 재학습 과정 없이도 이러한 "델타(로봇의 뇌에 가해지는 작은 업데이트)"들을 서로 섞고 조합할 수 있는지 조사합니다.

---

레고 브레인 실험

인공지능의 세계에서 대규모 언어 모델은 다국어 능력을 갖춘 거대한 뇌와 같습니다. 이 연구의 저자들은 DeltaMerge-LowRes는 새로운 것을 처음부터 학습시키는 대신 두 개의 별개 "업데이트"를 결로 결합함으로써 더 똑똑하고 적응력이 뛰어난 뇌를 구축할 수 있는지 확인하고 싶었습니다. 그들은 이 업데이트들을 **언어 델타(Language Delta)**와 **태스크 델타(Task Delta)**라고 부릅니다.

언어 델타를 "맛 패키지(flavor pack)"라고 생각해보세요. 이것은 로봇에게 (정답 없이 텍스트만 읽어서 배운) 스와힐리어구나 하우사어 같은 특정 언어를 유창하게 말하는 법을 가르치는 작은 지침 파일입니다. 그런 다음, 태스크 델타를 "기술 패키지(skill pack)"라고 상상해 보세요. 이것은 영어 예시를 공부하여 특정 작업(이야기 요약하기나 텍스트에서 이름 찾기 등)을 수행하는 법을 가르치는 파일입니다.

기존 방식은 맛과 기술을 하나의 큰 요리 솥에 넣고 섞는 것이었으며, 이를 제대로 수행하려면 희귀한 재료(레이블링된 데이터)가 많이 필요했습니다. 새로운 아이디어는 맛 패키지와 기술 패키지를 분리하여 유지한 다음, 그것들을 서로 끼워 맞추는 것입니다. 연구자들은 이 패키지들을 결합하는 네 가지 다른 방법, 즉 서로 다른 접착제 레시피를 테스트했습니다:

1. 가산적(Additive): 단순히 둘을 붙이는 방식.
2. 활성화 유도형(Activation-guided): 로봇의 내부적인 "느낌"이 각 패키지를 얼마나 사용할지 결정하게 하는 방식.
3. 희소성 인식형(Sparsity-aware): 두 패키지에서 가장 강력하고 중요한 부분만 남기고 약한 노이즈는 무시하는 방식.
4. Cross-axis TIES: 두 패키지가 무엇을 해야 하는지에 대해 서로 동의하는 부분만을 골라내는 심판 역할을 하는 세련된 새로운 방법.

주요 결과: 직무에 따라 다르다

연구자들은 네 가지 아프리카 언어를 대상으로 네 가지 유형의 태스크(뉴스 분류, 이름 찾기, 질문 답변, 이야기 요약)를 사용하여 수백 번의 테스트를 수행했습니다. 그 결과, 모든 것에 적용되는 하나의 "마법 접착제"는 없다는 것을 발견했습니다. 패키지를 결합하는 최선의 방법은 전적으로 로봇이 무엇을 하려고 하는지에 달려 있습니다.

"창의적" 작업의 승리 (요약 및 질문 답변)
로봇이 요약을 하거나 텍ity의 특정 세부 사항을 추출하여 질문에 답하는 것처럼 창의적인 능력을 요구할 때, Cross-axis TIES 방식이 명확한 승자였습니다. 이 방식은 마치 언어 기술과 태스크 기술을 언제 사용해야 할지 정확히 아는 스마트한 편집자 같았습니다.

• 요약의 경우, 이 방법은 글쓰기의 품질을 엄청난 차이로 향상시켰습니다. 네 가지 언어 중 세 가지 언어에서 점수를 4~7점 높였습니다(텍스트 품질의 표준 점수인 chrF로 측정). 예를 들어, 한 언어에서는 단지 태스크 패키지만 사용했을 때의 13.80에서 18.59로 점수가 뛰었습니다. 이는 일반적인 테스트 오차 범위가 약 1점인 것을 고려하면 엄청난 도약입니다.
• 질문 답변에서도 효과가 있었는데, 정답을 찾는 정확도를 2.32점 개선했고, 정확한 표현을 사용하는 빈도를 2.91점 더 높였습니다.

요루바어의 "스트레스 테스트"
흥 one 흥미로운 예외가 있었습니다. 요루바어 요약 작업의 경우, (언어 패키지를 완전히 무시한) 기존의 "태스크 전용(Task-only)" 접근 방식이 오히려 약간 더 나은 성능을 보였습니다. 연구자들은 이것이 요루바어의 언어 패키지가 다소 "노이즈가 많았기 때문"(아마도 완벽하게 학습할 만큼의 텍스트가 충분하지 않았을 것임)이라고 추측합니다. 이 경우, 새로운 방법은 안전망 역할을 했습니다. 단순한 "접착제" 방식이 처참하게 실패했을 때, 새로운 방법은 그 실패를 극복하고 7.22점을 회복하며 성공적으로 문제를 해결했습니다.

"교정"의 승리 (분류 및 이름 찾기)
뉴스 주제를 분류하거나 이름을 찾는(NER) 태스크의 경우, 화려한 방법들이 로봇이 정답을 맞히는 데 있어 더 똑똑하게 만들지는 못했습니다. 점수는 기존 방식과 거의 동일했습니다. 하지만 이 방법들은 로봇이 자신의 확신에 대해 훨씬 더 정직하게 만들었습니다.

• Sparsity-aware 방식을 사용했을 때, 로봇의 "신뢰도 교정(confidence calibration)"이 극적으로 개선되었습니다. 답변에 대한 확신의 오류를 36% 감소시켰습니다(13.81에서 8.86으로 하락).
• 이는 마치 시험 문제의 정답은 똑같이 맞히더라도, 확신이 없을 때 무작정 찍는 행동을 멈추는 학생과 같습니다. 점수는 같을지라도, 그들의 "확신한다"는 답변을 훨씬 더 신뢰할 수 있게 된 것입니다.

이것이 의미하는 바 (그리고 의미하지 않는 것)

이 논문은 우리가 기존의 훈련 방식을 버릴 필요는 없지만, 도구를 결합하는 방식에 있어 더 똑똑해짐으로써 더 나은 결과를 얻을 수 있다고 제안합니다. Cross-axis TIES 방식은 로봇이 새로운 텍스트를 생성해야 하는 창의적인 태스크에서 가장 좋은 "접착제"인 것으로 보이며, Sparsity-aware 방식은 로봇이 자신의 확신에 대해 더 신뢰할 수 있게 만드는 데 유용합니다.

그러나 저자들은 이것이 모든 것을 해결하는 마법의 탄환은 아니라고 주의를 기울였습니다. 그들은 특정 유형의 로봇 아키텍처와 특정 양의 데이터(태스크 훈련을 위한 약 256개의 예시)를 사용하여 테스트했습니다. 만약 충분한 컴퓨터 연산 능력과 데이터가 있다면, 이 방법이 처음부터 전체 모델을 훈련시키는 것보다 더 낫다는 것을 아직 증명하지는 못했습니다. 또한 일부 태스크(예: 이름 찾기)의 경우, 이 방법이 로봇이 더 많은 이름을 찾게(재현율, recall) 만들었지만 정밀도(precision)는 약간 떨어뜨려 전체적인 점수는 그대로 유지되었다는 점도 언급했습니다.

요약하자면, 연구자들은 미리 만들어진 언어 및 기술 모듈을 결합하여 다재다능한 저자원 AI를 구축할 수 있음을 보여주었습니다. 다만, 작업에 맞는 "접착제"를 선택해야 합니다. 만약 로봇에게 글을 쓰거나 설명하라고 요청한다면 스마트한 심판(Cross-axis TIES)을 사용하세요. 만약 단지 로봇이 자신이 아는 것에 대해 정직하기를 원한다면 필터(Sparsity-aware)를 사용하세요. 그리고 만약 언어 데이터가 지저지고 지저분하다면, 때로는 가장 단순한 접근 방식이 여전히 챔피언일 수 있습니다.