Technische Samenvatting: SpheriCity – Het ontwerpen van betrouwbare conversatieve AI voor besluitvormingsondersteuning op het gebied van duurzaamheid

1. Probleemstelling

Duurzaamheidsexperts worden geconfronteerd met aanzienlijke cognitieve en interactionele belastingen bij het navigeren door grote, heterogene corpora van rapporten over de circulariteit van steden. Deze documenten, die vaak meer dan 80–100 pagina's beslaan, bevatten gefragmenteerde informatie over materiaalstromen, infrastructuur en beleidsinterventies. Traditionele methoden voor synthese over meerdere documenten vereisen handmatig zoeken, lezen en kruisverwijzen, wat tijdrovend is en gevoelig is voor het missen van cruciale verbanden.

Hoewel Large Language Models (LLM's) en Retrieval-Augmented Generation (RAG)-systemen het potentieel bieden voor snelle kennissynthese, introduceren zij kritieke risico's in contexten met hoge inzet binnen de duurzaamheid. Specifiek ondermijnen opaak redeneren, gehallucineerde feiten en een gebrek aan brontransparantie het vertrouwen en de interpreteerbaarheid voor de gebruiker. Huidige evaluaties van conversatieve AI vertrouwen vaak op generieke metrieken (vloeiendheid, grammaticale correctheid) die er niet in slagen te voldoen aan de specifieke behoeften van experts, die verifieerbare, onbevooroordeelde en traceerbare bewijslast nodig hebben om beleidsbeslissingen te rechtvaardigen. Er is een gat in het begrip van hoe men conversatieve agenten kan ontwerpen die "betrouwbare kenniszinverwerking" ondersteunen in plaats van simpelweg vloeiende antwoorden te genereren.

2. Methodologie

2.1 Systeemontwerp: SpheriCity

De auteurs ontwikkelden SpheriCity, een provenance-georiënteerde (herkomstgerichte) conversatieve prototype ontworpen om kenniszinverwerking te ondersteunen over een corpus van 36 beoordelingsrapporten over circulariteit (ca. 2.800 pagina's). De systeemarchitectuur maakt gebruik van een RAG-framework met drie verschillende retrieval-configuraties om te testen hoe de onderbouwing van bewijs het vertrouwen beïnvloedt:

1. Vector-gebaseerde Retrieval: Maakt gebruik van embedding-gebaseerde gelijkeniszoekopdrachten (all-MiniLM-L6-v2) met recursieve karaktersegmentatie en cross-encoder re-ranking om semantisch gelijkaardige passages op te halen.
2. Graph-gebaseerde Retrieval: Gebruikt het LightRAG-systeem om een kennisgrafiek van entiteiten (steden, beleid, materialen) en relaties te construeren, wat multi-hop traversering van verbonden concepten mogelijk maakt.
3. Hybride Retrieval: Genereert onafhankelijke responsen uit zowel de vector- als de graph-pipelines, en gebruikt vervolgens een synthese-prompt om de sterkste punten te integreren, discrepanties te noteren en bewijs-specifieke claims prioriteit te geven.

Kernprincipes van het ontwerp:

• Provenance als kern: De interface scheidt expliciet de bronvermelding van de generatie. Paginanummers worden afgeleid van behouden documentmetadata in plaats van gegenereerd te worden door de LLM, wat het risico op gehallucineerde citaten vermindert.
• Gestructureerde Synthese: Responsies worden geformatteerd als gestructureerde opsommingstekens (interventies, uitkomsten, uitdagingen) in plaats van narratieve tekst om scannen en verificatie te vergemakkelijken.
• Interactie-scaffolds: De interface bevat prompt-templates voor veelvoorkomende taken (vergelijking tussen steden, samenvatting van beleid) om de formulering van queries te begeleiden.

2.2 Evaluatiekader

De studie maakte gebruik van een participatieve ontwerpaanpak. Zes duurzaamheidsexperts definieerden gezamenlijk een evaluatiekader bestaande uit vijf dimensies, gemeten via een 15-item Likert-schaal:

1. Topische Relevantie: Directheid ten opzichte van de vraag.
2. Contextuele Fit: Gepastheid binnen de geografische/institutionele scope.
3. Waargenomen Nauwkeurigheid: Feitelijke juistheid op basis van deskundige kennis.
4. Neutraliteit: Afwezigheid van bias of onterecht perspectief.
5. Diepgang van Informatie: Gepast niveau van detail zonder speculatie.

2.3 Studieprotocol

Een formatieve expertreview werd uitgevoerd met zes professionals. De studie maakte gebruik van een statisch reviewprotocol waarbij experts de vooraf gegenereerde responsen van de drie retrieval-configuraties beoordeelden voor 13 representatieve queries (dekking van stad-specifieke, vergelijkende en aanbevelende taken). Dit ontwerp maakte gecontroleerde, binnen-rater vergelijkingen van retrieval-strategieën mogelijk, terwijl de cognitieve belasting van live interactie werd geminimaliseerd. De dataverzameling omvatte kwantitatieve scores en kwalitatieve schriftelijke reflecties.

3. Belangrijkste Resultaten

3.1 Kwalitatieve Bevindingen

Thematische analyse van de feedback van experts onthulde vier kritieke inzichten:

• Vertrouwen vereist Provenance: Zichtbare bronvermelding (rapporttitels, paginanummers) is een voorwaarde voor vertrouwen. Responsies zonder traceerbaar bewijs werden met scepsis behandeld, ongeacht de vloeiendheid. Experts beschouwden de afwezigheid van citaten als een diskwalificatie van de geloofwaardigheid.
• Zinverwerking boven Definitieve Antwoorden: Experts waardeerden gestructureerde synthese die redenering en exploratie ondersteunt boven enkelvoudige, definitieve antwoorden. Zij gaven de voorkeur aan tools die hen hielpen bij het navigeren door trade-offs, in plaats van het bieden van geautomatiseerde aanbevelingen.
• Interpretatiebreuken veroorzaken Wantrouwen: Kleine contextuele fouten (bijv. het verkeerd identificeren van een staat als een stad) erodeerden het vertrouwen onevenredig veel. In domeinen met een hoge inzet signaleerden dergelijke fouten een risico op overgeneralisatie, wat ertoe leidde dat experts de gehele respons verwierpen.
• Mismatch in Workflow: Experts zagen de chatbot als een startpunt voor exploratie, niet als een definitieve output. Zij uitten een behoefte aan functies die annotatie, notitie-overname en de logging van rechtvaardigingen ondersteunen om AI-outputs te integreren in hun werkelijke besluitvormingsworkflows.

3.2 Kwantitatieve Bevindingen

Lineaire mixed-effects analyse van 3.510 scores gaf aan:

• Retrieval Prestaties: Vector-gebaseerde en hybride retrieval-benaderingen ontvingen over het algemeen hogere scores dan graph-gebaseerde retrieval over alle dimensies, met name op het gebied van Waargenomen Nauwkeurigheid en Diepgang van Informatie.
• Taakgevoeligheid: Het prestatieverschil was het meest uitgesproken bij stad-specifieke queries, wat suggereert dat vector-retrieval lokale contextuele informatie beter vastlegt.
• De Spanning tussen Volledigheid en Vertrouwen: Hoewel vector-gebaseerde retrieval meer uitgebreide responsen produceerde, bleven experts gevoelig voor subtiele hallucinaties of contextuele overgeneralisaties binnen die responsen. Dit bevestigt dat verhoogde diepgang niet automatisch gelijkstaat aan verhoogd vertrouwen als de interpreteerbaarheid in het gedrang komt.

4. Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

1. SpheriCity Prototype: Een provenance-georiënteerde conversatieve agent specifiek ontworpen voor kenniszinverwerking op het gebied van duurzaamheid, voorzien van gestructureerde synthese en paginaniveau traceerbaarheid.
2. Expert-Gegrond Basiskader: Een domeinspecifiek evaluatie-instrument, mede ontwikkeld met duurzaamheidsexperts, dat verder gaat dan generieke metrieken om relevantie, contextuele fit, nauwkeurigheid, neutraliteit en diepgang te beoordelen.
3. Designinzichten voor AI met een Hoge Inzet: Empirisch bewijs dat vertrouwen in duurzaamheidscontexten wordt gekalibreerd door zichtbare provenance en communicatie van onzekerheid, in plaats door de vloeiendheid van de respons. De studie benadrukt dat AI-systemen moeten fungeren als collaboratieve zinverwerkingsinstrumenten in plaats van autoritaire besluitvormers.

5. Betekenis en Claims

De auteurs positioneren dit werk als een noodzakelijke stap naar verantwoorde AI in duurzaamheid. Zij beweren dat voor conversatieve AI nuttig te zijn in besluitvormingsondersteuning met een hoge inzet, het moet aansluiten bij de workflows van experts die prioriteit geven aan verificatie en verantwoording.

Het artikel stelt bescheiden dat hun bevindingen wijzen op een verschuiving in designprioriteiten:

• Van Vloeiendheid naar Provenance: Systemen moeten de herkomst en reikwijdte van claims blootleggen om passende afhankelijkheid mogelijk te maken.
• Van Antwoordgeneratie naar Zinverwerking: Interfaces moeten iteratieve exploratie, vergelijking en bewijsrechtvaardiging ondersteunen.
• Van Automatisering naar Collaboratie: AI moet menselijk oordeel aanvullen door onzekerheid en contextuele beperkingen in beeld te brengen, in plaats van te proberen het menselijk redeneren te vervangen.

De auteurs erkennen beperkingen, waaronder de kleine steekproefomvang, de statische aard van de evaluatie (gebrek aan multi-turn interactie) en de beperking tot circulariteitsrapporten. Zij presenteren deze niet als falen, maar als openstaande onderzoeksvragen over hoe betrouwbare AI moet handelen wanneer foutieve antwoorden civiele of milieugevolgen hebben. Het werk concludeert dat de toekomst van AI in duurzaamheid ligt in het ontwerpen van systemen die transparante, verantwoorde en collaboratieve mens-AI kennisarbeid ondersteunen.