Technische Samenvatting: LoSemB – Logic-Guided Semantic Bridging voor Inductieve Tool Retrieval

1. Probleemstelling

Het artikel behandelt de uitdaging van inductieve tool retrieval voor Large Language Models (LLM's). Hoewel het uitrusten van LLM's met externe tools een veelbelovend paradigma is voor real-world taken, maakt de snelle expansie van web-gebaseerde tool-ecosystemen het onpraktisch om alle tools binnen het beperkte contextvenster van een LLM op te nemen. Daarom worden retrieval-gebaseerde methoden ingezet om relevante tools te selecteren uit grote repositories.

De meeste state-of-the-art methoden werken echter onder transductieve settings, waarbij wordt aangenomen dat alle tools tijdens de training zijn waargenomen. Dit wijkt af van de realiteit, waarin tools constant worden bijgewerkt en nieuwe tools worden toegevoegd. Wanneer toegepast op ongeziene tools (tools die niet tijdens de training zijn tegengekomen), lijden bestaande retrieval-gebaseerde methoden onder twee kritieke problemen:

1. Grote Distributieverschuiving: Ongeziene tools vertonen een significante distributionele divergentie van geziene tools vanwege functionele diversiteit. Retriever-modellen die getraind zijn op geziene tools leren bevoordeelde representaties die er niet in slagen de ware functionaliteit van ongeziene tools te vatten.
2. Gevoeligheid van Semantische-alleen Retrieval: Traditionele methoden vertrouwen zwaar op het berekenen van semantische gelijkenis tussen instructies en tool-beschrijvingen. Wanneer tool-representaties lijden onder distributieverschuivingen, leveren berekeningen van semantische gelijkenis misleidende resultaten op, wat leidt tot retrieval-fouten.

De auteurs identificeren dat bestaande methoden niet in staat zijn om efficiënt verborgen logische informatie te extraheren en over te dragen om betere representaties voor ongeziene tools te leren zonder kostbare hertraining.

2. Methodologie: LoSemB Framework

De auteurs stellen LoSemB (Logic-Guided Semantic Bridging) voor, een tweestaps framework ontworpen om latente logische informatie te minen en over te dragen om inductieve tool retrieval te faciliteren. Het framework bestaat uit een offline indexeringsfase en een online retrieval-fase.

2.1 Constructie van de Logische Graaf

De basis van LoSemB is een Logische Graaf ($G$), een bipartiete graaf die instructienodes ($Q$) en tool-nodes ($T$) bevat.

• Edges: Er bestaat een edge tussen een instructie $q_i$ en een tool $t_j$ als de instructie de tool aanroept. Dit vormt een incidentiematrix (invoke matrix) $R$.
• Embeddings: Initiële semantische embeddings voor instructies en tools worden gegenereerd met behulp van een gefinetuned Pre-trained Language Model (PLM).

2.2 Logische Embedding Alignment

Om de distributieverschuiving aan te pakken, extraheert LoSemB logische kenmerken uit de graaf en draagt deze over naar ongeziene nodes.

• Extractie van Logische Kenmerken: Het framework maakt gebruik van een multi-layer graph convolution (geïnspireerd door LightGCN) om informatie over de graaf te propageren. De logische kenmerken worden gedefinieerd als het verschil tussen de uiteindelijke graaf-embeddings (die structurele logische relaties bevatten) en de oorspronkelijke semantische embeddings. Dit verschil legt de functionele rol van de node binnen de graaf vast.
• Identificatie van Gelijke Tools: Voor een ongeziene tool identificeert het systeem functioneel gelijke geziene tools, niet op basis van tekstuele gelijkenis, maar door gestructureerde propagatie. Het codeert de bijbehorende instructie van de ongeziene tool, vindt de top-$J$ gelijkaardige trainingsinstructies en propageert deze activatie door de invoke matrix om scores te aggregeren voor kandidaat-trainingstools. Tools met hoge activatiescores worden als functioneel gelijk beschouwd.
• Transfer van Logische Kenmerken: Het systeem draagt logische kenmerken over van de geïdentificeerde kandidaat-tools naar de ongeziene tool. Het gebruikt een frequentie-gebaseerde weegstrategie (voor tools) en gelijkenis-gebaseerde softmax-normalisatie (voor instructies) om de gewogen logische kenmerken te integreren met de oorspronkelijke semantische embedding van de ongeziene tool. Dit stemt de representatie van de ongeziene tool af op de distributie van de geziene data.

2.3 Relational Augmented Retrieval

Het retrievalproces combineert logische pruning met verbeterde gelijkenis-matching:

• Logische Pruning: Gegeven een testinstructie, identificeert het systeem de top-$I$ meest gelijkaardige trainingsinstructies en verzamelt alle tools die door hen worden aangeroepen. Dit creëert een geprunede kandidaatenset ($T_{logic}$), wat de zoekruimte aanzienlijk verkleint door zich te concentreren op tools met een bewezen relevantie voor gelijkaardige logische patronen.
• Graaf-verbeterde Gelijkenis Matching: Binnen de geprunede set retrieveert het systeem de top-$K$ tools door de cosine similarity te rangschikken tussen de graaf-verbeterde embedding (die overgedragen logische kenmerken bevat) van de testinstructie en de graaf-embeddings van de kandidaat-tools. Dit maakt gebruik van zowel de semantische inhoud als de logische relationele patronen.

3. Belangrijkste Bijdragen

Het artikel schetst vier belangrijke bijdragen:

1. Probleemidentificatie: De auteurs identificeren en analyseren de belangrijkste uitdagingen van bestaande tool retrieval-methoden in inductieve settings, specifiek de grote distributieverschuiving en de gevoeligheid van semantische-alleen retrieval.
2. Logische Embedding Alignment: Een nieuw module dat distributieverschuivingen aanpakt door logische kenmerken (afgeleid van graaf-convolutie) te integreren in de representaties van ongeziene tools.
3. Relational Augmented Retrieval: Een retrieval-mechanisme dat gebruikmaakt van zowel logische pruning (om de zoekruimte te verkleinen) als graaf-verbeterde gelijkenis-matching (om de gevoeligheid voor semantische-alleen input te overwinnen).
4. Empirische Validatie: Uitgebreide experimenten die aantonen dat LoSemB superieure prestaties levert in zowel inductieve als transductieve settings zonder dat kostbare hertraining nodig is.

4. Experimentele Resultaten

De auteurs hebben LoSemB geëvalueerd op drie benchmarks: ToolBench (I1, I2, I3), UltraTool, en APIGen.

• Retrieval Kwaliteit: LoSemB presteerde beter dan alle baselines (inclusief zero-shot LLM's, training-vrije methoden zoals BM25/AdaEmbedding, en training-gebaseerde methoden zoals EmbSim/InstRet/RerankRet) in zowel transductieve als inductieve settings.
  • In de inductieve setting met 30% ongeziene tools behield LoSemB een stabiele prestatie met minimale relatieve dalingen (bijv. ~4,18% daling op ToolBench I3), terwijl training-gebaseerde baselines significante degradatie leden (bijv. >10% dalingen).
• Generatie Prestaties: Wanneer gebruikt om downstream-taken te sturen (met GPT-4o-mini), behaalde LoSemB de hoogste Pass Rate en Win Rate vergeleken met de baselines, wat aangeeft dat nauwkeurige retrieval direct vertaalt naar betere taakvoltooiing.
• Ablatie Studies: Het verwijderen van ofwel de Logic-based Embedding Alignment of de Relational Augmented Retrieval componenten resulteerde in een significante prestatiedegradatie, wat de noodzaak van beide modules bevestigt.
• Analyse van Distributieverschuiving: De studie toonde aan dat de Logic-based Embedding Alignment de KL-divergentie tussen ongeziene en geziene tool-embeddings verminderde van ~0,18 naar ~0,001, waardoor de distributies effectief werden uitgelijnd.
• Robuustheid: LoSemB demonstreerde een superieure robuustheid tegen labelruis (onjuiste instructie-tool paren) vergeleken met baseline-methoden, waarbij minimale prestatiedalingen optraden onder ruisige omstandigheden.

5. Betekenis en Claims

Het artikel claimt dat LoSemB een nieuw paradigma introduceert voor tool retrieval dat verder gaat dan de afhankelijkheid van louter semantische gelijkenis. Door menselijke cognitieve processen na te bootsen — waarbij logische relaties en gebruiksmodellen worden gebruikt om ongeziene tools te begrijpen — overbrugt het framework effectief de kloof tussen de distributies van geziene en ongeziene tools.

De auteurs benadrukken dat LoSemB een hoge nauwkeurigheid bereikt in inductieve settings zonder kostbare hertraining, wat het een praktische oplossing maakt voor evoluerende web-tool ecosystemen. Het werk suggereert dat het integreren van logische informatie (via graafstructuren en relationele patronen) cruciaal is voor robuust tool-leren. Het artikel concludeert dat deze aanpak de weg vrijmaakt voor toekomstige technieken die gebruikmaken van geavanceerde Graph Neural Networks (GNN's) en complexe graafstructuren om tool-leren verder te verbeteren.