Synthetic Sources?: Auditing Generative Search Engine Citations for Evidence of AI-Generated Sources
Dit artikel auditteert vier grote generatieve zoekmachines aan de hand van 712 real-world zoekopdrachten en stelt vast dat ongeveer 16% van hun geciteerde bronnen door AI is gegenereerd, wat wijst op een aanzienlijk risico dat gebruikers ongeverifieerde synthetische informatie ontvangen die wordt gepresenteerd als gezaghebbend.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een groep van vier zeer slimme, veelgereisde bibliothecarissen (ChatGPT, Copilot, Gemini en Perplexity) vraagt een vraag over politiek, gezondheid of het milieu te beantwoorden. In plaats van je gewoon een direct antwoord te geven, zeggen deze bibliothecarissen: "Hier is het antwoord, en hier zijn de 10 boeken die we hebben gelezen om het te schrijven."
Dit artikel is een audit van die "boeken" (de websites waarnaar ze verwijzen) om te zien of een van hen eigenlijk door een robot is geschreven die doet alsof het een mens is.
Hier is de uiteenzetting van wat de onderzoekers vonden, met behulp van eenvoudige analogieën:
1. De Opzet: De "Bibliotheek" van het Internet
De onderzoekers behandelden deze AI-zoekmachines als een nieuw soort bibliotheek. Ze stelden 712 echte vragen (over zaken als "Is dit dieet veilig?" of "Wat is het laatste politieke schandaal?") aan vier verschillende AI-motoren.
De motoren reageerden met antwoorden en leverden een lijst met links (citaten) om te bewijzen waar ze hun informatie vandaan hadden. De onderzoekers gingen vervolgens naar die links, las de inhoud en voerde een "leugendetector"-test uit (een AI-detectietool genaamd Pangram) om te zien of de tekst door een mens was geschreven of gegenereerd door een andere AI.
2. De Grote Ontdekking: De "Robotgeest" in de Bibliotheek
De belangrijkste bevinding is dat ongeveer 16% van de "boeken" waar deze bibliothecarissen naar verwezen, eigenlijk door robots was geschreven.
- De Metafoor: Stel je voor dat je naar een bibliotheek gaat om een geschiedenisboek te vinden. Je pakt er één van het plankje, opent het en besef dat de auteur een machine is die het hele boek in één seconde heeft geschreven. Je wist dat niet toen je het oppakte.
- De Realiteit: In deze studie was ongeveer 1 op de 6 bronnen waar de AI-motoren naar verwezen, AI-gegenereerde inhoud.
- De Ergerlijke Dader: De AI-motor Copilot was het meest waarschijnlijk om naar deze door robots geschreven bronnen te verwijzen (bijna 3 op de 10 van zijn citaten waren AI-gegenereerd). ChatGPT was het meest voorzichtig, maar verwees ze toch ongeveer 7% van de tijd aan.
3. Het "Lange Staart"-Probleem: De Menigte versus de VIP's
De onderzoekers merkten een vreemd patroon op in welke websites de AI-motoren graag citeerden.
- De VIP's (Het Hoofd): Een kleine groep beroemde, betrouwbare websites (zoals Wikipedia, overheidswebsites zoals
whitehouse.goven grote nieuwsbureaus) wordt keer op keer geciteerd. Ze zijn de "VIP's" van de bibliotheek. - De Lange Staart: De overgrote meerderheid van de citaten komt echter uit een "lange staart" van duizenden obscure, zelden bezochte websites. De meeste van deze obscure sites worden slechts een of twee keer geciteerd.
- De Bevinding: De "door robots geschreven" content zat vooral verstopt in deze Lange Staart. De beroemde VIP-sites waren grotendeels door mensen geschreven, maar de obscure, één-hit-wonder websites waren die volgepropt met AI-gegenereerde tekst.
- De Analogie: Het is als een feestje waar de gastheer (de AI) je steeds introduceert bij dezelfde 5 beroemde mensen (Wikipedia, overheidssites), maar dan 80% van de tijd doorbrengt met je voorstellen aan 1.000 vreemden achter in de zaal, waarvan velen eigenlijk poppen (AI-inhoud) zijn die doen alsof ze mensen zijn.
4. De Onderwerpsverdeling
De onderzoekers controleerden drie specifieke gebieden:
- Milieu: Dit onderwerp had het hoogste aantal geciteerde AI-gegenereerde bronnen.
- Gezondheid: Een aanzienlijk deel van de bronnen voor gezondheidsadvies was ook AI-gegenereerd.
- Politiek: Bevatte ook AI-bronnen, zij het iets minder dan de andere twee.
5. Waarom Dit Belangrijk Is (Volgens het Artikel)
Het artikel betoogt dat dit riskant is omdat:
- De "Vertrouwen"-Valstrik: Wanneer een AI je een antwoord geeft en je een lijst met links laat zien, ga je ervan uit dat die links echte, door mensen geverifieerde feiten zijn. Als de links eigenlijk AI-gegenereerd zijn, citeert de AI in feite zijn eigen "hallucinaties" of slechte robottekst als bewijs van zijn eigen antwoord.
- Het Kwaliteitsverschil: Hoewel niet alle AI-tekst slecht is, merkt het artikel op dat AI-tekst fouten, vooroordelen of verzonnen feiten kan bevatten. Als een AI-zoekmachine AI-geschreven bronnen gebruikt om zijn antwoord op te bouwen, creëert het een "huis van kaarten" waarbij de fundering wankel is.
- De "Zwarte Doos": De motoren vertellen je niet: "Hé, deze bron is door een bot geschreven." Ze tonen je gewoon de link.
Samenvatting
Het artikel concludeert dat deze nieuwe "Generatieve Zoekmachines" momenteel fungeren als bibliothecarissen die soms per ongeluk boeken citeren die door robots zijn geschreven, zonder de lezer daarvan op de hoogte te stellen. Ze vertrouwen zwaar op een paar beroemde websites, maar halen ook een enorme hoeveelheid informatie uit een "lange staart" van obscure websites, waarvan er vele volgepropt zijn met AI-gegenereerde inhoud.
De onderzoekers zeggen dat dit een waarschuwingssignaal is: als we niet fixen hoe deze motoren hun bronnen kiezen en controleren, zullen gebruikers onbewust informatie vertrouwen die volledig synthetisch is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.