Open-Source Reproduction and Explainability Analysis of Corrective Retrieval Augmented Generation

Deze paper presenteert een volledig open-source reproductie van het Corrective Retrieval Augmented Generation (CRAG)-systeem met Wikipedia en Phi-3-mini, die vergelijkbare prestaties behaalt en voor het eerst inzicht biedt in de werking van de evaluatiecomponent via SHAP-analyse.

De kern

Stel je voor dat je een zeer slimme, maar soms wat dromerige assistent hebt die alles over de wereld weet. Deze assistent is een Groot Taalmodel (zoals een super-intelligente robot). Hij kan prachtige verhalen schrijven en vragen beantwoorden, maar hij heeft een groot probleem: hij hallucineert. Dat betekent dat hij dingen met vol vertrouwen verzint die helemaal niet waar zijn.

Om dit op te lossen, hebben wetenschappers een systeem bedacht genaamd CRAG (Corrective Retrieval Augmented Generation). Het werkt als een check-in-crew voor je assistent.

Hier is wat dit paper doet, vertaald naar alledaags taal:

1. Het Probleem: De "Betaalde" Versie

De originele CRAG-versie was als een dure, gesloten club. Om het te laten werken, hadden ze twee dingen nodig die niet voor iedereen beschikbaar waren:

• Een betaalde Google-zoekmachine (om snel antwoorden op het internet te vinden).
• Een geheime, betaalde robot (LLaMA-2) die de antwoorden schreef.

Omdat deze dingen geld kosten of geheim zijn, kon niemand het systeem namaken of verbeteren. Het was alsof je een recept voor een heerlijke taart had, maar de ingrediënten mochten alleen bij één specifieke winkel worden gekocht.

2. De Oplossing: De "Open Deur" Versie

De auteur van dit paper, Surya, heeft gezegd: "Laten we dit openbaar maken!" Hij heeft een volledig gratis en open versie gebouwd.

• In plaats van de dure Google-zoekmachine, gebruikt hij de Wikipedia-API (een gratis bibliotheek van kennis).
• In plaats van de geheime robot, gebruikt hij Phi-3, een klein maar krachtig model dat gratis beschikbaar is.

Het resultaat? Zijn gratis versie werkt bijna net zo goed als de dure originele versie. Het is alsof je een taart bakt met ingrediënten uit de supermarkt in plaats van de dure speciaalzaak, en hij smaakt precies hetzelfde.

3. Hoe werkt het? (De Drie Acties)

Stel je voor dat je assistent een vraag krijgt. De "check-in-crew" (de evaluator) kijkt naar de documenten die hij heeft gevonden en beslist wat er moet gebeuren. Er zijn drie scenario's:

1. Correct (Goed): De gevonden documenten zijn perfect. De assistent gebruikt ze direct om het antwoord te geven.
2. Incorrect (Slecht): De documenten zijn completely onzin. De crew gooit ze weg en zegt: "Ga snel naar de bibliotheek (Wikipedia) om betere informatie te zoeken!"
3. Ambigu (Twijfelachtig): De documenten zijn niet slecht, maar ook niet perfect. De crew zegt: "Gebruik wat we hebben, maar zoek ook even snel op Wikipedia om het af te maken."

4. De Grote Ontdekking: De "Naam-Check"

Dit is het meest interessante deel van het paper. De auteurs hebben gekeken hoe de "check-in-crew" eigenlijk denkt. Ze gebruikten een hulpmiddel genaamd SHAP (een soort röntgenfoto voor AI-beslissingen).

Wat ontdekten ze?
De crew is niet echt slim in het begrijpen van betekenis. In plaats daarvan is het een naam-detecteur.

• Als de vraag is: "Wat is de beroep van Henry Feilden?" en het document bevat het woord "Henry", denkt de crew: "Ah, de namen matchen! Dit is goed!"
• Als het document over "mieren" gaat (en Henry niet noemt), denkt de crew: "Geen naam? Dan is dit onzin!"

Het probleem hiermee:
Stel je vraagt: "Wie regisseerde de film Titanic?"
De crew kijkt naar het woord "Titanic". Omdat de AI in zijn training vooral over mensen en beroepen heeft gelezen (niet over films), ziet hij "Titanic" niet als een bekende naam. Hij denkt: "Ik ken deze naam niet, dit is onzin," en gooit het document weg.
Dit werkt goed voor vragen over mensen, maar faalt volledig voor vragen over films, muziek of wetenschap.

5. Wat betekent dit voor de toekomst?

De paper laat zien dat we:

1. Geen dure tools meer nodig hebben om slimme AI-systemen te bouwen; gratis alternieven werken prima.
2. Onze AI-systemen beter moeten begrijpen. De huidige "check-in-crew" is te simpel. Hij kijkt alleen naar namen, niet naar de echte betekenis. Als we AI willen gebruiken voor wetenschap of films, moeten we hem leren om meer te kijken dan alleen de naam van een persoon.

Kort samengevat:
De auteur heeft een dure, gesloten machine omgebouwd tot een gratis, open machine die net zo goed werkt. Maar hij heeft ook ontdekt dat de "controleur" in de machine eigenlijk een beetje dom is: hij kijkt alleen of namen overeenkomen, en niet of de inhoud klopt. Voor de toekomst moeten we die controleur slimmer maken.

Technische samenvatting

Probleemstelling

Retrieval-Augmented Generation (RAG) systemen verbeteren de feitelijke nauwkeurigheid van Large Language Models (LLM's) door externe documenten te gebruiken, maar ze gaan er ten onrechte van uit dat alle opgehaalde documenten relevant zijn. Corrective Retrieval Augmented Generation (CRAG) is een architectuur die dit probleem aanpakt door een evaluatiemodel in te schakelen dat de kwaliteit van de opgehaalde documenten beoordeelt en corrigerende acties (Correct, Incorrect, of Ambigu) initieert.

Echter, de originele implementatie van CRAG is moeilijk te reproduceren vanwege de afhankelijkheid van gesloten en proprietaire componenten:

1. Gebruik van de Google Search API (betaalde dienst) voor webzoekopdrachten.
2. Gebruik van propriëtaire fine-tuned gewichten van het LLaMA-2 model.
3. Afhankelijkheid van verouderde OpenAI API-calls.

Deze barrières beperken de reproduceerbaarheid en de mogelijkheid voor onderzoekers om op dit werk voort te bouwen zonder aanzienlijke middelen.

Methodologie

De auteurs hebben een volledig open-source reproductie van CRAG ontwikkeld door alle proprietaire componenten te vervangen door gratis, open-source alternatieven, terwijl ze de kernarchitectuur behielden.

1. Componentenvervanging:

• Generator: Vervanging van het fine-tuned LLaMA-2-7B door Phi-3-mini-4k-instruct (3,8B parameters), een instructie-geoptimaliseerd model dat gratis beschikbaar is.
• Web Search: Vervanging van de Google Search API door een Wikipedia API-gebaseerd zoekproces. Dit omvat een multi-stadia pijplijn met vier fallback-strategieën: directe paginazoekopdracht, gespecificeerde suffix-zoekopdracht, Wikipedia Search API en disambiguatiepagina-resolutie.
• Retrieval Evaluator: Behoud van het originele fine-tuned T5-large model dat documenten scoort op relevantie (score tussen -1 en 1).
• Actielogica:
  • Correct: Score > $\tau_+$ (0,59). Documenten worden verfijnd via een "decompose-then-recompose" algoritme.
  • Incorrect: Score < $\tau_-$ (-0,99). Documenten worden verworpen en er wordt gezocht via Wikipedia.
  • Ambigu: Score tussen $\tau_-$ en $\tau_+$. Combinatie van interne en externe kennis.

2. Explainability Analyse (SHAP):
De auteurs hebben voor het eerst SHAP (SHapley Additive exPlanations) toegepast op de T5-evaluator om token-niveau attributies te analyseren. Dit werd gedaan om te begrijpen op welke basis het model relevantie scoort.

3. Evaluatie:
Het systeem is getest op twee datasets:

• PopQA: Een dataset van 1.385 vragen over langstaart-entiteiten (Wikipedia page views < 100/maand).
• ARC-Challenge: Een benchmark van 1.172 meerkeuze wetenschapsvragen.

Belangrijkste Bijdragen

1. Volledige Open-Source Reproductie: De eerste werkende, open-source implementatie van CRAG die geen betaalde API's of gesloten modellen vereist, met vergelijkbare prestaties als het origineel.
2. Explainability Analyse: De eerste token-level analyse van de CRAG-evaluator met SHAP. Deze analyse onthult dat de evaluator primair werkt als een naam-entiteitsalignatie-detector in plaats van een semantische relevantie-judge.
3. Identificatie van Falingsmodi: Het blootleggen van systematische problemen, zoals slechte prestaties bij wetenschappelijke vragen (door gebrek aan naam-entiteiten) en bij specifieke entiteitstypen (zoals filmtitels of muziekgenres) die ondervertegenwoordigd zijn in de trainingsdata.

Resultaten

De reproductie presteert zeer vergelijkbaar met het originele systeem:

• PopQA: De open-source CRAG bereikte 54,4% nauwkeurigheid, vergeleken met 54,9% voor het originele systeem (met LLaMA-2).
  • De "Correct"-actie bereikte 78,1% nauwkeurigheid.
  • De "Ambiguous"-actie presteerde slecht (19,3%) zonder webzoek, maar verbeterde naar 23,0% met Wikipedia-zoekopdrachten.
• ARC-Challenge: De reproductie bereikte 85,2% nauwkeurigheid, een verbetering ten opzichte van de "Vanilla RAG" baseline van 84,8%.
  • Opmerkelijk: De T5-evaluator classificeerde 88,3% van de wetenschapsvragen als "Ambiguous", wat wijst op een bias in de trainingsdata (gericht op biografische entiteiten) en een tekortkoming in domeinoverdracht.

Analyse per Vraagtype:

• Vraagtypes met veel naam-entiteiten (landen, sport, beroepen) profiteerden het meest van de "Correct"-actie (tot 85,8% nauwkeurigheid).
• Vraagtypes gericht op creatieve rollen (auteurs, componisten, regisseurs) presteerden slecht (22-40%) en vereisten vaak webzoek.
• Religie-vragen vormden een uitzondering: ondanks dat de evaluator vaak "Correct" scoorde, was de algehele nauwkeurigheid slechts 5,0%. Dit suggereert dat de evaluator topische relevantie verward met het vinden van het specifieke antwoord.

Betekenis en Conclusie

Dit werk is significant omdat het de toegang tot geavanceerde RAG-architecturen democratiseert door de afhankelijkheid van dure API's te elimineren. De belangrijkste inzichten zijn:

1. Mechanisme vs. Generator: De verbetering in prestaties komt voornamelijk door het CRAG-correctiemechanisme zelf, en niet door de specifieke generator (Phi-3-mini vs. LLaMA-2), aangezien beide vergelijkbare resultaten leverden.
2. Beperkingen van Evaluators: De analyse toont aan dat de T5-evaluator niet echt "begrijpt" wat relevant is, maar eerder zoekt naar naam-entiteitsovereenkomsten. Dit leidt tot falen bij domeinen waar naam-entiteiten ontbreken (wetenschap) of bij zeldzame entiteitstypen.
3. Toekomstige Richting: Er is behoefte aan het fine-tunen van de evaluator op een diverser scala aan vraagtypes en het ontwikkelen van betere, open-source alternatieven voor webzoek die meer dekking bieden dan Wikipedia alleen.

De volledige code en resultaten zijn beschikbaar via de GitHub-repository van de auteur, wat een belangrijke stap is voor reproduceerbaarheid in het NLP-onderzoek.