How Small Can You Go? LoRA Fine-Tuning 270M-8B Models for Merchant Information Extraction in Financial Transactions

당신은 매일 수백만 건의 신용카드 거래를 처리하는 거대 은행에서 일하고 있다고 상상해 보세요. 당신이 커피를 사거나 비행기 표를 살 때마다, 은행은 다음과 같은 작고 지저로운 텍스트 문자열을 받게 됩니다: "VIATOR IT-1558003355 360 3RD ST, STE 400, SAN FRANCISCO 7027495744".

은행에게 이것은 단순한 텍스트가 아닙니다. 이것은 하나의 퍼즐입니다. 그들은 즉시 다음과 같은 사실을 파악해야 합니다: 가맹점(Merchant)은 누구인가? 어디에 있는가? 전화번호는 무엇인가? 이것을 "가맹점 정보 추출(Merchant Information Extraction)"이라고 부릅니다.

오랫동안 은행은 이 퍼즐을 풀기 위해 거대하고 매우 똑똑한 AI 로봇(80억 개의 파라미터를 가진 LLaMA 모델)을 사용해 왔습니다. 이 로봇은 믿기지 않을 정도로 정확했지만, 무겁고, 느리며, 운영 비용이 많이 들었습니다. 이는 마치 피자 한 조각을 배달하기 위해 거대한 세미 트럭을 사용하는 것과 같습니다. 트럭이 임무를 완수하긴 하겠지만, 엄청난 양의 연료를 태우고 차고의 많은 공간을 차지하게 됩니다.

이 논문의 저자들은 다음과 같은 간단한 질문을 던졌습니다. "로봇이 실수를 하기 시작하기 전까지 얼마나 작게 만들 수 있을까?" 그들은 거대한 세미 트럭만큼 빠르고 정확하면서도, 연료비는 들지 않는 작고 민첩한 로봇을 찾고자 했습니다.

다음은 이들이 발견한 내용을 쉬운 비유를 통해 정리한 것입니다.

1. "작은 로봇"의 놀라움

그들은 매우 작은 모델(2억 7천만 파라미터)부터 거대한 80억 파라미터 모델까지 24가지의 서로 다른 "로봇"(AI 모델)을 테스트했습니다.

• 승리자: 그들은 **Qwen 3.5 (4B)**라는 모델을 찾아냈습니다. 이 모델은 거대한 트럭의 절반 정도의 "두뇌 능력"을 가졌지만, 퍼즐을 푸는 데 있어 거의 대등한 성능을 보여주었습니다.
• 스피드 레이서: 더욱 놀랍게도, 그들은 **Qwen 3.5 (0.8B)**라는 아주 작은 모델을 발견했습니다. 이 모델은 원래의 거대한 로봇보다 10배나 더 작지만, 자신보다 2~4배 더 큰 모델들과 거의 비슷하게 수행합니다. 이는 마치 미니밴만큼의 화물을 실을 수 있는 스포츠카를 발견한 것과 같습니다.

2. "생각하기" vs "그냥 하기" 논쟁

로봇을 가르칠 때, 연구진은 두 가지 다른 방법을 시도했습니다.

• "소리 내어 생각하기" 방식 (Chain-of-Thought): 로봇에게 "먼저 단계별로 생각한 다음, 최종 결과를 작성하라"고 지시했습니다. 이 방식은 보통 작은 로봇들이 더 똑똑해지는 데 도움이 되었습니다.
• "그냥 하기" 방식 (JSON-Only): 로봇에게 "생각을 겉으로 드러내지 마라. 그냥 깔끔한 목록 형태로 답을 제시하라"고 지시했습니다.
• 반전: 가장 뛰어난 중간 크기의 로봇(Qwen 4B)의 경우, "그냥 하기" 방식이 실제로 더 좋았습니다! 이 특정 로봇은 너무 똑똑해서 문제를 해결하기 위해 스스로에게 "말할" 필요가 없는 것 같습니다. 그냥 즉시 답을 알고 있는 것입니다.

3. "훈련 체육관" vs "실제 경기장"

연구진은 모든 로봇을 개인 훈련 체육관(로컬 컴퓨터 워크스테이션)에서 훈련시킨 후, 실제 경기장(은행의 라이브 프로덕션 시스템)으로 보내서 여전히 잘 수행할 수 있는지 확인했습니다.

• 좋은 소식: 대부분의 로봇(특히 Gemma와 Qanga 제품군)의 경우, 경기장에서의 성능은 체육관에서의 성능과 거의 동일했습니다. 기술이 완벽하게 전이되었습니다.
• 나쁜 소식: Aya라고 불리는 한 로봇은 체육관에서는 훌륭해 보였지만 경기장에서는 비틀거렸습니다. Aya는 똑똑하긴 했지만, 경기장의 장비(서버 소프트웨어)가 그녀의 독특한 신체 구조를 감당하지 못했던 것입니다. 이를 통해 연구진은 호환성이 순수한 지능만큼이나 중요하다는 것을 배웠습니다.

4. "배낭" 크기 (LoRA)

이 로봇들을 가르치기 위해, 그들은 전체 뇌를 다시 훈련시키지 않았습니다. 대신 새로운 지침이 담긴 작은 "배낭"을 추가했습니다(LoRA).

• 그들은 "작은 배낭"(Rank 8)과 "거대한 배 backpack"(Rank 32)을 테스트했습니다.
• 결과: 작은 배낭이 거대한 배낭만큼의 효과를 99% 수준까지 냈습니다. 이는 정확도를 거의 잃지 않으면서도 저장 공간과 메모리를 엄청나게 절약할 수 있음을 의미합니다.

결론

이 논문은 신용카드 데이터를 전달하기 위해 거대하고 비싼 세미 트럭이 필요하지 않다고 결론짓습니다. 대신, 다음과 같은 특징을 가진 작고 효율적인 스포츠카(Qwen 3.5 모델 같은)를 사용할 수 있습니다:

• 더 빠름: 거래를 최대 4배 더 빠르게 처리합니다.
• 더 저렴함: 메모리와 에너지를 절반만 사용합니다.
• 동등한 정확도: 거대 모델보다 실수가 거의 없습니다.

이러한 더 작고 똑똑한 모델로 전환함으로써, 은행(및 다른 유사 기관들)은 데이터 처리 속도를 번개처럼 빠르게 유지하면서도 컴퓨팅 비용을 엄청나게 절감할 수 있습니다. 그들은 AI의 세계에서 무조건 큰 것이 좋은 것은 아니며, 때로는 적절한 크기가 완벽한 크기라는 것을 증명했습니다.