지금까지 많은 연구자들은 인공지능에게 텍스트를 분석할 때, 한 번에 한 가지 질문 (변수) 을 한 문장 (텍스트) 에만 던지는 방식을 썼습니다.
비유: 식당에서 100 명의 손님이 와서 "피자 100 판"을 시켰는데, 주문 방식이 이러합니다.
"피자 1 판 주세요. (한 입)" -> 주문 완료
"피자 1 판 주세요. (한 입)" -> 주문 완료
...이걸 100 번 반복합니다.
게다가 각 피자에 대해 "치즈는?", "토마토는?", "페퍼로니는?" 등 4 가지 질문을 따로따로 물어봐야 한다면? 400 번이나 주문을 해야 합니다.
현실: 이렇게 하면 **API 호출 비용 (돈)**이 80% 이상 낭비됩니다. 매번 주문할 때마다 "주문서 (지시사항)"를 새로 작성하고 전달해야 하니까요.
📦 2. 해결책: "한 번에 통으로 시키기 (Batching & Stacking)"
저자들은 "왜 한 번에 여러 개를 묶어서 주문하지?"라고 생각했습니다.
배치 (Batching): 한 번에 피자를 25 판씩 통으로 시키기.
스택 (Stacking): 한 판의 피자에 대해 "치즈, 토마토, 페퍼로니, 두부" 등 4 가지 질문을 한 번에 다 물어보기.
이렇게 하면 주문 횟수가 400 번에서 4 번으로 줄어듭니다. 비용은 80% 이상 절약되는데, 정작 **맛 (정확도)**은 어떨까요?
🧪 3. 실험 결과: "통으로 시켜도 맛은 그대로!"
저자들은 8 가지 다른 인공지능 모델로 4,000 개 이상의 트윗을 분석해 보았습니다. 결과는 놀라웠습니다.
안전한 범위: 한 번에 100 개까지 묶어서 분석해도, 한 번에 하나씩 분석했을 때와 정확도가 거의 비슷했습니다. (오차 2% 미만)
질문도 많이 해도 OK: 한 번에 10 가지 질문을 동시에 던져도 결과가 크게 나빠지지 않았습니다.
왜 나빠질까? 나빠지는 이유는 질문이 길어서가 아니라, 질문 자체가 너무 복잡해서였습니다. (예: "이 트윗이 유해한가?", "감정은 어떤가?", "누가 썼는가?" 등 너무 많은 것을 동시에 판단하라고 하면 AI 가 혼란스러워함)
💡 4. 중요한 발견: "모델 선택이 더 중요해"
비유: 비싼 고급 주방 (최고급 AI 모델) 에서 한 번에 100 개 요리를 해도 맛은 좋지만, 싼 주방 (저가형 AI 모델) 에서 한 번에 하나만 요리해도 맛이 떨어질 수 있습니다.
결론: 한 번에 몇 개를 묶어서 처리하느냐 (배치 크기) 보다는, 어떤 AI 모델을 쓰느냐가 결과에 더 큰 영향을 미칩니다.
💰 5. 실제 효과: "수천 달러를 아낄 수 있다"
연구자가 10 만 개의 트윗을 4 가지 기준으로 분석한다고 가정해 봅시다.
기존 방식: 약 337 달러 (약 45 만 원) 이상 듭니다.
이 논문 제안 방식: 약 50 달러 (약 6 만 7 천 원) 이하, 혹은 더 싼 모델을 쓰면 10 달러 (약 1 만 3 천 원) 미만으로 가능합니다.
중요한 점: 이렇게 아낀 비용으로 생긴 오차는, 사람이 직접 분석했을 때 서로 의견이 달라지는 정도 (인간 간 오차) 보다 훨씬 작습니다. 즉, 인간이 분석할 때보다 더 정확하거나 비슷하면서도 훨씬 싸게 할 수 있다는 뜻입니다.
📝 요약: "한 번에 많이, 여러 가지로"
이 논문의 핵심 메시지는 다음과 같습니다:
"AI 에게 텍스트를 분석시킬 때, 한 번에 하나씩 하나씩 시키지 마세요. 한 번에 25~100 개 정도 묶어서 (Batching), 한 번에 10 가지 질문까지 동시에 (Stacking) 던지세요. 이렇게 하면 비용은 80% 이상 줄고, 정확도는 거의 떨어지지 않습니다. 다만, 너무 많은 질문을 한 번에 던지거나, 너무 많은 텍스트를 한 번에 넣으면 (1,000 개 이상) AI 가 혼란스러워할 수 있으니 **적당한 선 (Safety Zone)**을 지키세요."
이제 연구자들은 이 방법을 써서 예산을 아끼고, 더 많은 데이터를 분석할 수 있게 되었습니다. 마치 한 번에 큰 트럭으로 화물을 실어 나르는 것처럼 효율적인 시대가 온 것입니다.
논문 요약: 대규모 언어 모델 (LLM) 을 활용한 텍스트 분류 시 배치 처리와 변수 스택킹의 효율성 및 정확성 분석
1. 문제 제기 (Problem)
사회과학 연구에서 대규모 언어 모델 (LLM) 을 활용한 자동 콘텐츠 분석이 표준화되고 있지만, 연구자들은 여전히 비효율적인 프롬프트 설계를 따르고 있습니다.
현황: 대부분의 연구는 한 번의 API 호출당 텍스트 1 개와 변수 1 개만 처리하는 보수적인 방식을 사용합니다.
비효율성: 예를 들어, 10 만 개의 텍스트를 4 개의 변수로 분류할 경우, 40 만 번의 API 호출이 필요하여 막대한 비용과 시간이 소요됩니다.
미해결 과제: 한 번의 프롬프트에 여러 텍스트를 묶는 **배치 처리 (Batching)**와 여러 분류 변수를 한 번에 요청하는 **변수 스택킹 (Variable Stacking)**이 LLM 의 분류 정확도를 떨어뜨리는지, 그리고 그 효과가 누적되는지에 대한 체계적인 검증이 부족했습니다.
2. 연구 방법론 (Methodology)
저자들은 8 개의 상용 LLM 과 4 개의 제공자 (Anthropic, OpenAI, Google, Alibaba) 를 대상으로 대규모 실험을 수행했습니다.
데이터: Gilardi et al. (2023) 의 3,962 개 트윗 데이터셋을 사용했으며, 이는 전문가가 라벨링한 4 가지 변수 (관련성, 문제/해결책, 입장, 주제) 를 포함합니다.
실험 설계:
Study 1 (배치 크기 테스트): 배치 크기 (b) 를 1, 5, 10, 25, 50, 100, 250, 500, 1000 으로 변화시키며 단일 변수 처리 시의 정확도 변화를 측정했습니다.
Study 2 (변수 스택킹 테스트): 배치 크기 b=25를 고정하고, 동시에 처리하는 분류 변수의 수 (k) 를 4, 10, 25 개로 늘려 정확도 변화를 관찰했습니다.
통제 조건: 프롬프트 길이가 길어지는 효과와 작업 복잡성이 증가하는 효과를 분리하기 위해, 실제 변수는 4 개지만 더미 텍스트로 길이를 25 개 변수 조건과 맞춘 '제어 프롬프트'를 사용했습니다.
모델: Claude Haiku 4.5, GPT-5-mini/nano, Gemini 3 Flash 계열, Qwen 3.5 계열 등 총 8 개 모델.
3. 주요 기여 (Key Contributions)
비용 절감 전략의 체계적 검증: 기존에 검증되지 않았던 '배치 처리'와 '변수 스택킹'이 LLM 기반 텍스트 분류의 정확도에 미치는 영향을 최초로 대규모로 실증했습니다.
안전 운영 구간 (Safe Operating Range) 정의: 비용은 80% 이상 절감하면서도 정확도 저하가 미미한 구체적인 파라미터 설정을 제시했습니다.
오류 원인 규명: 정확도 저하가 프롬프트의 토큰 길이 때문이 아니라, 동시에 여러 분류 체계를 관리해야 하는 작업의 복잡성에서 기인함을 증명했습니다.
4. 주요 결과 (Results)
A. 배치 처리 (Item Batching) 의 영향
안정성: 6 개 모델 중 5 개는 배치 크기 b=100까지 정확도 저하가 2%p 미만으로 유지되었습니다.
비용 절감:b=25로 배치할 경우, 토큰 비용이 80% 이상 절감되며 정확도 손실은 거의 없습니다.
모델별 차이:
Claude Haiku 4.5: 가장 강력하여 모든 배치 크기에서 정확도 저하가 1.1%p 이내였습니다.
OpenAI 추론 모델 (GPT-5-nano, GPT-5-mini):b≥250에서 급격한 정확도 하락 (27~36%p) 과 파싱 실패가 발생했습니다. 이는 온도가 0 으로 고정되지 않아 추론 모델의 특성이 배치 처리와 충돌했기 때문으로 보입니다.
Google/Alibaba 모델:b=1000에서 3~4%p 정도의 감소가 관찰되었습니다.
변수별 반응: '관련성 (Relevance)'은 가장 민감했으나, '주제 (Topic)' 분류의 경우 일부 모델에서 배치 크기가 커질수록 정확도가 오히려 상승하는 경향을 보였습니다 (동시 제시된 텍스트들이 분포 정보를 제공하여 카테고리 경계 보정에 도움을 줌).
B. 변수 스택킹 (Variable Stacking) 의 영향
최적 범위: 변수를 최대 10 개까지 스택킹 (k=10) 한 경우, 단일 변수 처리 (k=1) 와 비교해 정확도 차이가 2.2%p 이내로 유지되었습니다.
한계:k=25로 늘리면 7 개 모델 중 6 개에서 1.6~6.1%p의 정확도 저하가 발생했습니다.
상호작용 효과: 배치 처리와 변수 스택킹의 효과는 **가산적 (additive)**이지 **승법적 (multiplicative)**이지 않았습니다. 즉, 두 가지 기법을 동시에 사용해도 정확도가 급격히 떨어지지 않았습니다.
원인 분석: 프롬프트 길이만 늘린 제어 조건에서는 정확도 저하가 없었으며, 저하는 동시에 여러 분류 체계를 처리해야 하는 작업 복잡성에서 비롯된 것으로 확인되었습니다.
5. 의의 및 시사점 (Significance)
경제적 효율성: 10 만 개의 트윗을 4 개 변수로 분류하는 경우, 중간 등급 모델을 사용할 때 배치 (b=25) 와 스택킹을 적용하면 비용을 약 337 달러에서 50 달러 미만 (예산 모델 사용 시 10 달러 미만) 으로 줄일 수 있습니다.
측정 오차의 수용 가능성: 이 범위 내에서 발생하는 측정 오차 (정확도 저하) 는 기존 인간 코더 간의 불일치 (Ground-truth 데이터 내 6~21%) 보다 작습니다. 즉, 효율성 증가는 이미 사회과학계가 인간 코딩 데이터에서 허용하고 있는 오차 범위 내에 있습니다.
연구자 가이드라인:
안전한 설정: 배치 크기 25~100, 변수 스택킹 최대 10 개가 대부분의 현재 LLM 에 안전한 운영 구간입니다.
모델 선택의 중요성: 배치 크기나 스택킹 설정보다 모델 선택이 정확도에 더 큰 영향을 미칩니다.
보고 의무: 향후 연구에서는 모델 이름과 프롬프트 설계 alongside 배치 크기 및 스택킹 구성을 명시해야 합니다.
결론적으로, 이 논문은 연구자들이 LLM 을 사용할 때 텍스트를 하나씩 분류하는 구식 방식을 버리고, 배치 처리와 변수 스택킹을 적극적으로 도입함으로써 80% 이상의 비용 절감을 이루면서도 정확도 손실은 무시할 수준으로 유지할 수 있음을 증명했습니다.