SQUiD: Synthesizing Relational Databases from Unstructured Text

Dit paper introduceert SQUiD, een neurosymbolisch framework dat grote taalmodellen gebruikt om automatisch relationele databases te synthetiseren uit ongestructureerde tekst door schema's te genereren en tabellen te vullen.

De kern

Stel je voor dat je een enorme berg losse briefjes hebt. Op deze briefjes staan verhalen, recepten, reisplannen en nieuwsberichten. Ze zijn allemaal geschreven in gewone taal, net zoals je met een vriend zou praten. Dit is ongestructureerde tekst.

Aan de andere kant heb je een superstrakke, georganiseerde bibliotheek met duizenden dossiers. Elke map heeft een precies label, en elke map past in een specifieke lade. Dit is een relationale database. Computers houden van deze mappen omdat ze er razendsnel in kunnen zoeken en rekenen.

Het probleem? De computers kunnen de losse briefjes niet lezen. Ze weten niet hoe ze die verhalen moeten omzetten in die strakke mappen. Tot nu toe moest een mens die briefjes één voor één lezen, beslissen in welke map ze hoorden, en ze dan handmatig invullen. Dat is saai, duur en foutgevoelig.

Hier komt SQUiD (Synthesizing Relational Databases from Unstructured Data) om de hoek kijken. SQUiD is een slimme robot die deze taak voor je overneemt. Het is geen gewone robot; het is een neuro-symbolische robot. Dat klinkt ingewikkeld, maar het betekent simpelweg: hij heeft de creativiteit van een kunstenaar (een Large Language Model of LLM) én de strenge regels van een wiskundige (symbolische logica).

SQUiD werkt in vier stappen, alsof je een huis bouwt:

Stap 1: Het Ontwerp (Schema Generatie)

Stel je voor dat je een architect bent. Je leest de briefjes en moet eerst een blauwdruk maken voor het huis.

• Wat doet SQUiD? Hij leest de tekst en bedenkt: "Ah, dit verhaal gaat over reizigers, bestemmingen en reizen. We hebben dus een map nodig voor 'Reizigers', een voor 'Steden' en een voor 'Reizen'."
• De slimme truc: Gewone AI maakt vaak fouten, zoals twee mappen die niet op elkaar aansluiten. SQUiD gebruikt een "Chain-of-Thought" (gedachtegang). Hij denkt stap voor stap na: "Wie zijn de hoofdpersonen? Wat zijn hun eigenschappen? Hoe hangen ze samen?" Hij zorgt ervoor dat de mappen (tabellen) en de lades (kolommen) perfect passen volgens de strenge regels van databases.

Stap 2: De Schatgraven (Waarde Identificatie)

Nu je het ontwerp hebt, moet je de schatten uit de briefjes halen.

• Wat doet SQUiD? Hij zoekt naar specifieke feiten: "Sophia", "34 jaar", "Rome", "10 juni".
• De slimme truc: Soms staat er "Rome" drie keer in één zin. Een simpele robot zou dat drie keer opschrijven. SQUiD gebruikt twee methoden tegelijk:
  1. Een strikt taalgereedschap dat letterlijk woorden pakt (zoals een robot die elk woord telt).
  2. Een creatieve AI die begrijpt wat er bedoeld wordt (bijvoorbeeld dat "premium pakket" een belangrijk detail is).
     Hij combineert deze twee om zeker te weten dat hij niets mist en niets dubbel telt. Hij koppelt ook een uniek nummer aan elke persoon in de tekst, zodat hij weet dat "Sophia" in de ene zin dezelfde Sophia is als in de volgende.

Stap 3: Het Invullen (Tabel Populatie)

Nu heb je de blauwdruk en de schatten. Het is tijd om de mappen te vullen.

• Wat doet SQUiD? Hij pakt de gevonden feiten en zet ze in de juiste mappen. Sophia gaat in de 'Reiziger'-map, Rome in de 'Bestemming'-map.
• De slimme truc: Dit is het lastigste deel. Als je zegt "Sophia ging naar Rome", moet de computer weten dat Sophia's ID in de 'Reiziger'-map ook in de 'Reis'-map moet staan, zodat de twee mappen met elkaar verbonden blijven. SQUiD gebruikt een speciaal hulpmiddel (een 'tool') dat één rijtje per keer invult, zodat hij niet in de war raakt en altijd de juiste nummers gebruikt.

Stap 4: De Bouw (Database Materialisatie)

Tot slot moet het huis echt gebouwd worden.

• Wat doet SQUiD? In plaats van dat de creatieve AI zelf de bouwplannen (SQL-code) schrijft (wat vaak fouten bevat, zoals een haakje op de verkeerde plek), gebruikt SQUiD de gegevens die hij net heeft verzameld. Hij laat een computerprogramma de bouwplannen automatisch genereren.
• Het resultaat: Een perfect werkende database die je direct kunt gebruiken. Geen fouten, geen ontbrekende stukjes, gewoon een strakke, zoekbare database.

Waarom is dit zo belangrijk?

Vroeger was het alsof je een bibliotheek moest bouwen door duizenden losse krantenknipsels handmatig in mappen te plakken. SQUiD doet dit in een flits, met de precisie van een wiskundige en het inzicht van een mens.

Het is alsof je een vertaler hebt die niet alleen woorden vertaalt, maar ook begrijpt hoe een heel boek gestructureerd moet worden, en vervolgens het hele boek in een perfect georganiseerd archief zet, klaar voor gebruik. Of het nu gaat om medische dossiers, zakelijke rapporten of reisverhalen: SQUiD maakt van de chaos van tekst een orde van data.

Technische samenvatting

Probleemstelling

Relatiedatabases vormen de ruggengraat van modern databeheer, maar het overgrote deel van de huidige data bestaat uit ongestructureerde tekst (zoals academische artikelen, medische dossiers en bedrijfsrapporten). Bestaande tools voor databeheer kunnen deze ongestructureerde data niet direct verwerken.

Hoewel er eerder werk is gedaan aan het genereren van tabellen uit tekst (Text-to-Table) of het omzetten van tekst naar SQL-query's voor bestaande databases (Text-to-SQL), ontbreekt er een oplossing voor het synthetiseren van een volledige relatieve database vanaf nul op basis van ongestructureerde tekst. Deze taak, die de auteurs Text2R noemen, kent unieke uitdagingen:

1. Schema-complexiteit: Het moet een schema genereren met meerdere onderling verbonden tabellen die complexe entiteit-relatiebetekenissen vastleggen, inclusief geldige primaire en buitenlandse sleutels (foreign keys).
2. Waarde-consistentie: Waarden moeten correct worden geïdentificeerd, gedupliceerd en consistent toegewezen aan de juiste tuples over verschillende tabellen heen.
3. Syntactische juistheid: Het eindresultaat moet bestaan uit geldige, uitvoerbare SQL-stellingen. Eenvoudige prompts naar Large Language Models (LLMs) leiden vaak tot fouten zoals ontbrekende waarden, hallucinaties of syntaxisfouten.

Methodologie: Het SQUiD Framework

De auteurs introduceren SQUiD (SQL on Unstructured Data), een neurosymbolisch framework dat de Text2R-taak decomposeert in vier modulaire fasen. Door het probleem op te splitsen, kan elke fase gebruikmaken van gespecialiseerde technieken (symbolische tools en LLM-prompting) om de nauwkeurigheid te maximaliseren.

Fase 1: Schema Generatie

• Doel: Het afleiden van een relatief schema (tabellen, kolommen, relaties) uit de tekst.
• Aanpak: In plaats van de LLM direct een schema te laten genereren, worden strikte regels uit de relationele database-literatuur (zoals normalisatie, primaire/buitenlandse sleutels en het vermijden van gereserveerde SQL-trefwoorden) in de prompt verwerkt.
• Techniek: Er wordt gebruik gemaakt van Chain-of-Thought (CoT) prompting om het proces te decomponeren: eerst entiteiten en relaties identificeren, dan tabellen definiëren, en tot slot sleutels toewijzen. Dit zorgt voor een strakker en syntactisch geldig schema.

Fase 2: Waarde Identificatie

• Doel: Het extraheren van specifieke waarden (bijv. namen, data, bedragen) uit de tekst.
• Aanpak: Om de dekking te vergroten en redundantie te verminderen, gebruikt SQUiD een hybride benadering:
  • Symbolische Triplets: Gebruik van tools zoals Stanford CoreNLP voor deterministische extractie van (onderwerp, relatie, object) triplets.
  • Schema-gealigneerde Triplets: LLM's genereren triplets die direct zijn gekoppeld aan de gegenereerde schema-kolommen.
  • Deduplicatie: Een embedding-model (sentence-t5-base) wordt gebruikt om bijna-identieke triplets te detecteren en te verwijderen.
  • Groepering: Om te zorgen dat waarden aan de juiste entiteit实例 (bijv. "Sophia" vs. "James") worden gekoppeld, krijgt elke alinea in de tekst een unieke identifier (superkey). Deze wordt aan alle triplets uit die alinea toegevoegd.

Fase 3: Tabel Populatie

• Doel: Het vormen van tuples (rijen) die consistent zijn met het gegenereerde schema.
• Aanpak: Dit is een ensemble-techniek. De LLM krijgt drie verschillende inputbronnen:
  1. Alleen de tekst.
  2. Tekst + symbolische triplets.
  3. Tekst + schema-gealigneerde triplets.
     De gegenereerde tuples uit deze drie bronnen worden later samengevoegd. Dit benut de complementaire sterktes van elke bron (bijv. symbolische tools zijn goed voor exacte waarden, LLM's voor contextuele groepering).
• Referentiële Integriteit: De prompt bevat richtlijnen om ervoor te zorgen dat buitenlandse sleutels in gerelateerde tabellen consistent zijn (bijv. dezelfde traveler_id in zowel de Traveler als de Trip tabel).

Fase 4: Database Materialisatie

• Doel: Het converteren van de gestructureerde output naar uitvoerbare SQL-code.
• Aanpak: In plaats van de LLM SQL-stellingen te laten genereren (wat foutgevoelig is), worden de gegenereerde schema's en tuples programmatisch omgezet in CREATE TABLE en INSERT INTO statements. Dit garandeert 100% syntactische correctheid en voorkomt hallucinaties in de SQL-code. De database wordt vervolgens lokaal geïnstantieerd in SQLite.

Belangrijkste Bijdragen

1. Definitie van Text2R: De auteurs definiëren een nieuwe taak: het synthetiseren van een volledige relatieve database (schema + data) vanaf ongestructureerde tekst, in tegenstelling tot eerdere werk dat uitging van een bestaand schema.
2. SQUiD Framework: Een innovatief neurosymbolisch framework dat de taak decomposeert in vier fasen, waarbij symbolische tools en LLM's worden gecombineerd voor betere prestaties.
3. Automatisch Benchmark: De ontwikkeling van een nieuwe dataset en evaluatiemethode voor Text2R, inclusief een suite van nieuwe metrieken voor zowel schema- als tuple-kwaliteit.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat SQUiD aanzienlijk beter presteert dan directe prompting-baselines.

Resultaten

De auteurs testten SQUiD op diverse datasets (toerisme, onderwijs, financiën, etc.) met verschillende LLM's (GPT-4O, Claude 3.7, DeepSeek, Llama-3, Qwen).

• Schema Kwaliteit: SQUiD met CoT-prompting bereikte bijna 100% dekking voor primaire en buitenlandse sleutels (PKC/FKC) en hoge semantische dekking (ECS) voor entiteiten.
• Database Constructie: SQUiD bereikte een Database Construction Success Rate (DBR) van 100% voor bijna alle modellen en moeilijkheidsgraden, terwijl baselines vaak faalden (soms <10% succes).
• Referentiële Integriteit: SQUiD verbeterde de Referentiële Integriteit Rate (RRIR) aanzienlijk ten opzichte van baselines (bijv. een verbetering van 46x voor GPT-4O op eenvoudige voorbeelden).
• Semantische Kwaliteit: SQUiD verbeterde de Tuple Coverage (TC) en Value Coverage (VC) significant. Opmerkelijk is dat kleinere modellen (8B parameters) onder SQUiD vaak beter presteerden dan grotere modellen die direct werden geprompt.
• Ensemble Effect: Het combineren van output van verschillende inputbronnen (tekst + symbolische + schema-triplets) leverde de beste resultaten op, wat aantoont dat deze bronnen complementaire informatie bevatten.

Betekenis en Impact

Dit werk is significant omdat het een brug slaat tussen de wereld van ongestructureerde tekst en de gevestigde infrastructuur van relatieve databases. Het lost het probleem op dat er vaak geen vooraf gedefinieerd schema bestaat voor nieuwe, ongestructureerde databronnen.

Door het gebruik van een neurosymbolische aanpak (combinatie van LLM's en symbolische logica) demonstreert SQUiD dat het mogelijk is om robuuste, syntactisch correcte en semantisch rijke databases te bouwen zonder menselijke tussenkomst. Dit opent de deur voor geautomatiseerde data-integratie in domeinen waar data momenteel "dood" ligt in tekstdocumenten, waardoor het direct analyseerbaar wordt met bestaande database-tools. De auteurs maken hun code en datasets openbaar, wat de reproduceerbaarheid en verdere ontwikkeling in dit veld stimuleert.