Where A Small Language Model Helps in Invoice Categorisation, Understood Through Embedding Geometry

商品を売買するあらゆる企業は、すべての取引について正確な記録を保持しなければなりません。企業が請求書を受け取った際、人間の会計士は、その費用がどの特定のカテゴリーに属するかを判断する必要があります。これは「総勘定元帳（ジェネラル・レジャー）コード」の割り当てとして知られる作業です。これは単なる分類作業ではありません。その購入が日常業務のためのものか、資本投資なのか、あるいは事業主の個人的な支出なのかを理解するために、専門的な判断力が求められます。これを正しく行うことが、正確な財務報告と税務コンプライアンスの基礎となります。もしこれらのコードが間違っていれば、中小企業は不必要な罰金に直面し、政府は数十億ドルの税収を失うことになります。長年、人工知能がこの困難な作業を自動化できることが期待されてきましたが、テクノロジーはしば能訓練された人間の会計士のようなニュアンスを捉えることにしばしば苦戦してきました。

ブリストル大学とSystem Holdings Limitedの研究者たちは、最近、異なる道を模索しました。膨大な計算能力を必要とし、データのプライバシーに関する懸念を引き起こす巨大で複雑なAIシステムを使用する代わりに、より小さく特化した言語モデルがこの仕事を効果的にこなせるかどうかをテストしたのです。これらの小さなモデルは、単一のコンピュータ上で実行できるため、企業の壁の中に機密性の高い財務データを安全に保持することができます。研究チームは、これらのモデルが機能するかどうかだけでなく、それらがどのように「思考」しているのかを理解したいと考えました。彼らは、コンピュータ内部の情報が持つ数学的な「形状」を調査し、モデルが内部メモリの中でどのように類似した請求書をグループ化しているかを調べました。その結果、これらの小さなモデルが情報を整理する方法は驚くほど効率的であり、その組織化こそが成功の鍵であることを発見しました。

研究者たちは、英国の会計事務所のクライアント7社から集められた、2,000件以上の請求書を含む現実世界のデータセットを用いて作業を行いました。各請求書は、すでにプロの会計士によって正しく分類されていました。チームはこのデータを、SBERTと呼ばれる小さく効率的なモデルと、DeBERTaと呼ばれるより大きく複雑なモデルという、2種類の異なるAIモデルに投入しました。彼らは、異なるバージョンの請求書テキストを用いてテストを行いました。あるバージョンには、ベンダー名、日付、価格のみが含まれていました。別のバージョンには、購入された品目の全リストが含まれていました。3つ目のバージョンには、「ベンダー名：」や「価格：」といった明示的なラベルが追加され、人間にとって読みやすい構造化された形式になっています。

結果は、機械の読み方に関する直感に反する事実を明らかにしました。明確なラベルと構造化されたフォーマットを持つ、人間にとって最も読みやすいバージョンのテキストは、実はAIにとって異なる種類の請求書を区別することをより困難にさせていたのです。コンピュータがすべての文書の中で「ベンダー名」や「価格」という言葉を繰り返して目にすると、それらの文書の内部的な数学的表現が似通ってしまい、境界線が曖昧になってしまいました。モデルは、人間が会計士のように乱雑なレシートをちらりと見る時と同じように、加工されていない生の非構造化テキストを与えられた時に最も高いパフォーマンスを発揮しました。より小さなモデルであるSBERTは、優れた選択肢であることが証明されました。わずか数百の例で学習させただけで、SBERTは高いレベルの精度を達成し、はるかに大きなモデルや、この特定のタスクに対して学習を行っていない標準的な「ゼロショット」AIよりもはるかに優れた精度で請求書を分類できました。

コンピュータの内部メモリを深く掘り下げると、なぜ小さなモデルが成功し、大きなモデルが苦戦したのかが説明できました。研究者たちは、大きなモデルの内部表現が「崩壊（コラップス）」していることを発見しました。テキストが長く詳細になるにつれ、異なる意味を区別する能力が衰退し、内容ではなく主にテキストの長さに依存するようになってしまったのです。対照的に、小さなモデルは、異なる種類の請求書がそれぞれ明確な領域を占める、豊かで多次元的な空間を維持していました。訓練を受ける前であっても、このモデルは発行元によって請求書を自然にグループ化しており、文書のソースを理解していることを示していました。さらに重要なことに、テキストが似ていたとしても、十分な例を見ていれば、異なる財務カテゴリーを分離することができました。

この汎用化能力は、チームがこれまで一度も見たことのないデータを持つ全く新しいクライアントに対してモデルをテストした際に、極めて重要となりました。大きなモデルは著しく苦戦し、正しく機能し始めるまでに数百の新しい例を必要としました。しかし、小さなモデルははるかに速く適応し、約100件の新しい請求書だけで高い精度に達しました。これは、小さなモデルが単にパターンを暗記するのではなく、テキストの意味を理解するためのより堅牢な方法を学んだことを示唆しています。それは、あるクライアントにとっての「モーター修理」が、新しいクライアントにとっても（特定のベンダーに関わらず）同じカテゴリーであることを認識するという、学んだことを別のビジネスへと転移させることができたのです。

本研究は、請求書の分類のようなタスクにおいては、巨大で汎用的なモデルよりも、小さく社内に設置できるモデルの方が優れたツールになることが多いと結論付けています。それは、コスト、セキュリティ、およびパフォーマンスの現実的なバランスを提供します。単一のコンピュータで実行できるため、機密性の高い財務データをプライベートに保つことができ、また、サイズが小さいため運用コストも安価です。研究はまた、テキストに余分な構造を加えることはAIの助けにはならず、むしろ生のテキストの方が効果的であることが多いことも示しました。この発見は、企業がシステムに投入する前に請求書を再フォーマットするために時間と費用を費やす必要がないことを意味しており、プロセスを簡素化します。この研究は、適切なアプローチがあれば、システムが単にテキストの量ではなくデータの幾何学を理解するように設計されている限り、人工知能は会計における微妙で熟練した判断を扱うことができることを実証しています。