CAST: Achieving Stable LLM-based Text Analysis for Data Analytics

Titel: CAST: Het Bereiken van Stabiele LLM-gebaseerde Tekstanalyse voor Data-analyse

1. Het Probleem: Stabiliteit in Data-analyse

De kern van dit onderzoek ligt in de toepassing van Large Language Models (LLMs) voor Text Analysis for Data Analysis (TADA). In veel zakelijke scenario's bevinden zich ongestructureerde tekstkolommen (zoals reviews of enquêteantwoorden) binnen tabulaire datasets. Analisten willen deze tekst omzetten in gestructureerde signalen (labels of samenvattingen) die kunnen worden gebruikt voor filtering, groepering en aggregatie, net als numerieke kolommen.

De huidige uitdaging is dat LLMs probabilistisch werken, terwijl data-analyse deterministische eisen stelt.

• Het stabiliteitsprobleem: Als een LLM dezelfde invoer (dezelfde tabel en query) twee keer verwerkt, kan het verschillende output genereren (bijv. "Klantenservice" in de ene run en "Ondersteuningsteam" in de andere).
• Gevolg: Deze variatie ondermijnt reproduceerbaarheid en betrouwbaarheid in downstream-analyses. Als de tags of thema's niet consistent zijn, veranderen de resultaten van groeperingen en aggregaties willekeurig, wat het vertrouwen in het systeem wegneemt.
• Oorzaak: De instabiliteit wordt toegeschreven aan onbeperkte, diffuse trajecten van latente redenering (high entropy reasoning paths) binnen het model.

2. Methodologie: Het CAST Framework

Om dit op te lossen, stellen de auteurs CAST (Consistency via Algorithmic Prompting and Stable Thinking) voor. Dit framework beperkt de generatie van het model door expliciete tussenstappen en structurele beperkingen op te leggen. Het bestaat uit twee complementaire componenten:

A. Algorithmic Prompting (AP)

• Concept: AP legt een procedureel steeksels (scaffold) op over de redenering. Het vertaalt deterministische workflows en expert-heuristieken naar een gestructureerde promptsequentie.
• Werking: Het fungeert als een sterke prior over geldige overgangen tussen redeneerstappen. In plaats van vrij te genereren, wordt het model gedwongen om te volgen binnen een gedefinieerd algoritme (bijv. eerst domein identificeren, dan thema's clusteren). Dit verlaagt de lokale onzekerheid van elke stap.

B. Thinking-before-Speaking (TbS)

• Concept: Het model wordt verplicht om expliciete, tussenliggende staten te genereren voordat de definitieve output wordt gegenereerd.
• Werking: Het model moet eerst "denken" door staten zoals het domein, een schema van onderwerpen of clusters vast te leggen. Deze staten fungeren als een "commitment". Zodra deze staten zijn vastgelegd, worden latere generaties hierop geconditioneerd. Dit reduceert de divergentie van het redeneertraject en zorgt ervoor dat de uiteindelijke output consistent blijft met de initiële beslissingen.

Implementatie:
CAST wordt uitgevoerd als één gestructureerde LLM-aanroep waarbij het model een JSON-uitvoer genereert die zowel de tussenliggende redeneerstappen als de definitieve samenvatting of tags bevat. Het framework past zich aan voor twee kernoperaties:

1. Samenvatting (Summarization): Het distilleren van N tekstitems naar M thema's.
2. Tagging: Het toewijzen van labels aan individuele rijen.

3. Evaluatiemethoden

Omdat bestaande metrics (zoals ROUGE of BLEU) voornamelijk kwaliteit en overlap meten en niet per se stabiliteit, introduceren de auteurs nieuwe metrics:

• CAST-S (voor Samenvatting): Een hybride metric die semantische consistentie combineert met een Positional Score (gebaseerd op Kendall's Tau) om de volgorde van bullet points te meten. In data-analyse is de volgorde vaak belangrijk voor de interpretatie.
• CAST-T (voor Tagging): Een metric die semantisch equivalente tags over meerdere runs clusteren en de convergentie naar de dominante semantische cluster meten (majority ratio).

Deze metrics zijn gevalideerd met menselijke beoordelingen en tonen een sterke correlatie (r > 0.8) met menselijke oordelen over stabiliteit.

4. Belangrijkste Resultaten

Experimenten zijn uitgevoerd op diverse openbare benchmarks met meerdere LLM-backbones (o.a. GPT-5.2, DeepSeek-V3.2, Gemini-3-Flash).

• Verbeterde Stabiliteit: CAST presteert consequent beter dan alle baselines (Zero-shot CoT, Few-shot CoT, Self-Consistency, ToT). De stabiliteitsscore verbetert met maximaal 16,2% ten opzichte van de baselines.
• Kwaliteit behouden of verbeterd: De verbetering in stabiliteit gaat niet ten koste van de kwaliteit. In feite verbetert CAST de nauwkeurigheid bij classificatietaken (tagging) doordat het logische redenering afdwingt.
• Efficiëntie: In tegenstelling tot methoden zoals Self-Consistency of Tree-of-Thoughts, die meerdere generaties vereisen (en dus trager zijn), is CAST slechts één enkele API-call. Het is aanzienlijk sneller dan zoekgebaseerde methoden en vergelijkbaar met directe prompting.
• Ablatiestudies: De studies tonen aan dat zowel AP als TbS noodzakelijk zijn; de combinatie werkt beter dan de individuele onderdelen.

5. Significantie en Bijdragen

De paper levert een belangrijke bijdrage aan het veld van LLM-toepassingen in data-analyse:

1. Paradigmaverschuiving: Het formaliseert TADA als een tabulaire, query-gerichte paradigma waarbij stabiliteit een functionele noodzaak is, niet alleen een wenselijke eigenschap.
2. Nieuwe Benadering voor Stabiliteit: Het toont aan dat stabiliteit kan worden bereikt door het beperken van latente redeneerpaden via structurele prompts, in plaats van door dure zoekalgoritmen of herhaaldelijk sampling.
3. Praktische Toepasbaarheid: CAST biedt een efficiënte, schaalbare oplossing voor bedrijven die LLMs willen integreren in bestaande OLAP-werkstromen (Online Analytical Processing) zonder de reproduceerbaarheid te verliezen.
4. Evaluatie-innovatie: Het introduceert specifieke metrics om "run-to-run" consistentie te kwantificeren, wat een kritiek ontbrekend element was in de huidige evaluatie van generatieve AI voor data-taken.

Kortom, CAST maakt LLMs betrouwbaar genoeg voor strikte data-analyseprocessen door de "willekeur" van het model te beteugelen via gestructureerd denken en algoritmische prompts.