Multi-Modal Generative Fuzzy System: Fuzzy Inference Guided Large Model Interactive Question Answering Framework

In de wereld van kunstmatige intelligentie zijn machines bijzonder goed geworden in het lezen van tekst en het bekijken van afbeeldingen. Ze kunnen een foto beschrijven of een vraag beantwoorden op basis van een paragraaf. Maar de echte uitdaging ligt in het combineren van deze verschillende manieren om de wereld te zien. Wanneer een mens een complexe vraag stelt die vereist dat er tegelijkertijd naar een medische scan wordt gekeken, naar de medische geschiedenis van een patiënt wordt gelezen en een wetenschappelijk diagram wordt begrepen, moet de machine deze afzonderlijke draden samenweven tot één coherente gedachte. Dit is het domein van multimodale vraagbeantwoording. De moeilijkheid zit niet alleen in het verzamelen van de informatie, maar in het weten welk stuk informatie het belangrijkst is, hoe men omgaat met de delen die onduidelijk zijn, en hoe men redeneert door een probleem dat mogelijk meerdere stappen van logica vereist. Zonder een duidelijke gids raken deze systemen vaak in de war door tegenstrijdige details of graven ze niet diep genoeg om het juiste antwoord te vinden.

Onderzoekers aan de Jiangnan Universiteit in China hebben een nieuwe aanpak ontwikkeld om deze specifieke problemen op te lossen, waarbij ze een systeem hebben gecreëerd dat ze het Multi-Modal Generative Fuzzy System noemen. In plaats van te vertrouwen op één enkel massaal model om het antwoord te raden, hebben ze een framework gebouwd dat de manier nabootst waarop menselijke experts omgaan met onzekerheid en complexe redeneringen. Het kernidee is om de vraag niet te behandelen als een eenvoudige zoekopdracht, maar als een puzzel die moet worden opgedeeld, vanuit verschillende hoeken moet worden bekeken en moet worden verfijnd door een proces van zorgvuldige heroverweging. Het systeem is ontworpen om te werken met tekst, afbeeldingen, tabellen en zelfs biologische sequenties, waarbij deze worden behandeld als verschillende stemmen in een gesprek die uiteindelijk moeten instemmen met één enkele waarheid.

Het proces begint met een fase die de onderzoekers "ruminatie" (herkauwen/overpeinzen) noemen. Stel je een team van specialisten voor, elk een expert in één type data: de een leest de tekst, een ander analyseert de afbeelding en een derde bestudeert de grafieken. In plaats van simpelweg hun aantekeningen samen te voegen, wisselen zij hun bevindingen met elkaar uit. Als de tekst iets anders zegt dan de afbeelding suggereert, pauzeert het systeem en vraagt het elke specialist om opnieuw te kijken, waarbij gebruik wordt gemaakt van de nieuwe context om het begrip te verfijnen. Deze heen-en-weer beweging gaat door totdat de informatie uit alle bronnen overeenstemt en tegenstrijdigheden zijn opgelost. Deze stap is cruciaal omdat het voorkomt dat het systeem wordt misleid door onvolledige of misleidende gegevens in één enkel formaat, waardoor wordt gewaarborgd dat het uiteindelijke beeld compleet en consistent is.

Zodra de informatie duidelijk is, beweegt het systeem zich naar een fase van fuzzy reasoning (vage redenering). In alledaagse taal betekent "fuzzy" hier niet onnauwkeurig of losjes; het verwijst eerder naar een methode om situaties aan te pakken waarbij zaken niet strikt zwart of wit zijn. Een vraag kan deels tot het vakgebied van de geneeskunde en deels tot het vakgebied van de biologie behoren. In plaats van het systeem te dwingen om slechts één categorie te kiezen, erkent het dat de vraag zich in een ruimte tussen beide bevindt. Het systeem breekt de hoofdvraag vervolgens af in een reeks kleinere, meer hanteerbare vragen, of "hops". Het stelt de eerste hop, krijgt een antwoord, en gebruikt dat antwoord vervolgens om de volgende vraag te formuleren. Dit stelt het systeem in staat om een keten van logica op te bouwen, waarbij lagen van complexiteit laag voor laag worden afgepeld, vergelijkbaar met het volgen van een spoor van aanwijzingen om een bestemming te bereiken.

Om deze keten van redenering te beheren, gebruikt het systeem een reeks regels die fungeren als een gids voor een groot taalmodel. Deze regels vertellen het model hoe het moet handelen als een domeinexpert, zoals een socioloog of een arts, afhankelijk van wat de huidige stap van de redenering vereist. Het systeem bevat ook een mechanisme om te beslissen wanneer het moet stoppen met vragen stellen. Het evalueert of het huidige antwoord voldoende is of dat er een andere stap nodig is. Als de redenering voltooid is, stopt het; zo niet, dan genereert het de volgende vraag en gaat het door met de lus. Dit voorkomt dat het systeem doelloos ronddwaalt of te vroeg stopt, waardoor wordt gegarandeerd dat het uiteindelijke antwoord het resultaat is van een grondig onderzoek.

Ten slotte brengt het systeem al deze afzonderlijke lijnen van redenering samen. Omdat verschillende experts misschien iets verschillende interpretaties hebben, gebruikt het systeem een stemproces om het meest betrouwbare antwoord te vinden. Het kijkt naar de betrouwbaarheidsniveaus van elk potentieel antwoord en filtert de antwoorden eruit die zwak of irrelevant lijken. Als er een gelijkspel is, gebruikt het verdere interactie om de beste delen van de concurrerende antwoorden samen te voegen tot één gepolijst antwoord. Deze laatste stap, die de onderzoekers adversarial fusion noemen, fungeert als een kwaliteitscontrole, waarbij wordt gewaarborgd dat de uiteindelijke output niet slechts een gok is, maar een goed onderbouwde conclusie.

De onderzoekers testten dit systeem op een verscheidenheid aan datasets, variërend van algemene kennisvragen tot gespecialiseerde taken in de geneeskunde en biologie. Ze vergeleken hun methode met bestaande technieken, inclus van traditionele deep learning-modellen en andere op grote modellen gebaseerde systemen. De resultaten toonden aan dat hun aanpak consequent de anderen overtrof wat betreft nauwkeurigheid en consistentie. Belangrijker nog, het systeem demonstreerde een beter vermogen om met onzekerheid om te gaan en om antwoorden te geven die niet alleen correct, maar ook logisch sluitend waren. Door de zorgvuldige, stapsgewijze redenering van fuzzy logic te integreren met de krachtige taalvaardigheden van moderne grote modellen, biedt het Multi-Modal Generative Fuzzy System een nieuwe manier voor machines om de complexe, veelzijdige vragen te begrijpen die mensen dagelijks stellen.