PROMPT2BOX: Uncovering Entailment Structure among LLM Prompts

1. Het Probleem

Onderzoekers proberen vaak de zwakke punten van Large Language Models (LLMs) te identificeren door prompts in een vectorruimte in te bedden en deze te clusteren. De huidige benadering heeft echter een fundamenteel tekort:

• Beperking van vector-embeddings: Traditionele vector-embeddings vangen voornamelijk topische gelijkenis (semantische nabijheid) op. Ze kunnen echter geen asymmetrische relaties zoals specificiteit of implicatie (entailment) modelleren.
• Het specificiteitsprobleem: Prompts die hetzelfde onderwerp hebben maar verschillen in specificiteit (en dus moeilijkheidsgraad), worden in vectorruimtes vaak als identiek behandeld. Bijvoorbeeld, "schrijf een verhaal" en "schrijf een kort avonturenverhaal over een robot" liggen dicht bij elkaar, maar het tweede is specifieker en moeilijker.
• Gevolg: Als een LLM faalt op specifieke prompts maar goed presteert op algemene prompts, wordt dit gemaskeerd in een cluster. Dit maakt het moeilijk om systematische zwaktes van een model nauwkeurig te diagnosticeren.

2. Methodologie: PROMPT2BOX

De auteurs stellen PROMPT2BOX voor, een methode die prompts in een box-embedding ruimte inbedt in plaats van in een punt-ruimte.

A. Box Embeddings

In plaats van een prompt als een punt (vector) te representeren, wordt deze gemodelleerd als een as-georiënteerde hyper-rechthoek (een "box") in een $D$-dimensionale ruimte.

• Centrumvector ($a_{center}$): Vangt de semantische locatie op (gelijkende prompts hebben dicht bij elkaar liggende centra).
• Groottevector ($a_{\delta}$): Vangt de semantische reikwijdte op.
  • Algemene prompts worden weergegeven door grotere boxes.
  • Specifieke prompts worden weergegeven door kleinere boxes.
• Implicatie (Entailment): Als de box van prompt $A$ volledig binnen de box van prompt $B$ valt ($Box(A) \subseteq Box(B)$), impliceert dit dat $A$ specifieker is dan $B$ en dat $A$ $B$ impliceert. Dit modelleert de hiërarchische structuur van prompts natuurlijk.

B. Training en Data Curation

Om de encoder te trainen, gebruiken ze een combinatie van bestaande en gesynthetiseerde datasets:

1. Infinity Instruct: Voor semantische relevantie (prompt-response paren).
2. MultiNLI: Voor zinsniveau implicaties (entailment, contradictie, neutraal).
3. WildChat (Synthetisch): GPT-4.1 wordt gebruikt om hiërarchische instructies te genereren (van specifiek naar algemeen) om parent-child relaties te leren.
4. SURI: Voor het leren van "broer-zus" relaties (siblings), waarbij instructies een gemeenschappelijk doel hebben maar verschillende beperkingen (geen implicatie tussen elkaar).
5. Linkage Dataset: Een speciaal gecreëerde dataset om de verschillende objectieven (relevantie vs. implicatie) in één gemeenschappelijke ruimte te verenigen.

De training gebruikt contrastive learning met een verliesfunctie die de overlap (volume van de intersectie) maximaliseert voor positieve paren en de inhoudsrelatie (containment) voor implicaties. Ze gebruiken de Gumbel Box Formulation om de niet-differentieerbare min/max operaties in de box-berekeningen differentieerbaar te maken.

C. Dimensiereductie (BOX-SNE)

Omdat box-embeddings hoogdimensionaal zijn, stellen de auteurs BOX-SNE voor, een nieuwe techniek voor dimensiereductie. Deze is geïnspireerd op t-SNE, maar behoudt zowel de intersectie-gelijkenis als de implicatie-relaties (inhoud) tussen de boxes tijdens het projecteren naar 2D voor visualisatie.

3. Belangrijkste Bijdragen

1. PROMPT2BOX: Een nieuwe representatie die zowel semantische gelijkenis als specificiteit/implicatie vastlegt via box-geometry.
2. Synthese van Implicatie-data: Methodes om grote datasets van implicatie-relaties tussen prompts te synthetiseren voor training.
3. BOX-SNE & Clustering: Een nieuwe dimensiereductiemethode voor boxes en een hiërarchisch clustering-algoritme dat gebaseerd is op het volume van de union van boxes.
4. Nieuwe Evaluatiemetrics: Metrics voor gelijkenis, implicatie en specificiteit in prompt-representaties.

4. Resultaten

De auteurs evalueren hun methode op intrinsieke metrics en downstream taken:

• Intrinsieke Metrics:
  • Op FollowBench (retrieval van specifiekere instructies) en SURI (implicatie-ranking) presteert de box-embeddings aanzienlijk beter dan vector-baselines.
  • De box-methode behoudt competitieve prestaties op STS-B (semantische gelijkenis), wat aantoont dat specificiteit niet ten koste gaat van algemene relevantie.
• Score Voorspelling (UltraFeedback):
  • Bij het voorspellen van de kwaliteitsscores van 17 verschillende LLMs op basis van de embedding-ruimte, presteert de box-methode beter (lagere RMSE) dan vector-methoden. Dit bevestigt dat specificiteit een grote rol speelt in de prestaties van LLMs.
• Hiërarchisch Clustering:
  • Local Score Consistency: Box-clusters hebben een lagere variantie in scores binnen een cluster dan vector-clusters.
  • Specificiteit-Ordening: De diepte in de hiërarchische boom van box-embeddings correleert sterk (70% overeenstemming) met de specificiteit van de instructie, terwijl vector-methoden hierin faalden (nabij 50%, wat willekeurig is).
  • Zwaktes Detectie: PROMPT2BOX identificeert 8,9% meer zwakke clusters (clusters met lage scores) dan vector-baselines. Dit betekent dat het model beter in staat is om specifieke gebreken van een LLM te isoleren zonder deze te "verdunnen" met algemene, goed presterende prompts.

5. Significantie en Impact

De paper toont aan dat het modelleren van prompts als punten in een ruimte onvoldoende is voor een diepgaande analyse van LLM-gedrag.

• Visuele Inzicht: De 2D visualisaties met BOX-SNE maken het mogelijk om direct te zien waar een model faalt (kleine, rode boxes in specifieke gebieden) versus waar het goed presteert (grote, blauwe gebieden), zelfs binnen algemene thema's.
• Praktische Toepassing: De methode helpt bij het gerichter verzamelen van trainingsdata voor specifieke zwaktes, het verbeteren van evaluatiebenchmarks en het begrijpen van hoe schaling (modelgrootte) specifieke moeilijkheden oplost of juist laat staan.
• Nieuwe Paradigma: Het introduceert een verschuiving van symmetrische afstandsmetingen naar asymmetrische, hiërarchische structuren voor het begrijpen van taalopdrachten.

Kortom, PROMPT2BOX biedt een robuuster raamwerk om de complexiteit van instructies en de daaruit voortvloeiende prestatieverschillen van LLMs te analyseren, door de cruciale dimensie van specificiteit expliciet te modelleren.