On-Device Deep Research at 4B: Exposure Bounds Faithfulness, Retrieval Bounds Coverage

Stel je voor dat je een superintelligente, zakformaat robotbibliothecaris hebt genaamd "4B". Deze robot leeft op je persoonlijke laptop en zijn taak is om een heleboel wetenschappelijke artikelen te lezen, de antwoorden op lastige vragen te achterhalen en een kort rapport te schrijven met citaties (zoals "volgens pagina 5 van dit boek").

Maar hier komt de addertjes onder het gras: soms liegt de robot. Hij kan zeggen: "Het boek zegt X," terwijl het boek eigenlijk Y zegt. Of hij kipt de verkeerde boeken volledig. Onderzoekers wilden weten: Hoe krijgen we deze kleine robot om de waarheid te spreken, en wat kost dat?

Ze voerden een grootschalig experiment uit op een laptop met 24 GB geheugen om het geheime recept te vinden. Dit is wat ze ontdekten, gebruikmakend van twee eenvoudige hendels.

Hendel 1: Het "Peek-a-Boo"-effect (Blootstelling)

Denk aan de leesbril van de robot. In de eerste test mocht de robot slechts de eerste 400 tekens (ongeveer een korte paragraaf) van elk artikel bekijken voordat hij zijn rapport schreef. Het was alsof je probeert een hele film te beoordelen door alleen de eerste 30 seconden te kijken.

Het resultaat? De robot was wankel. Hij kreeg slechts ongeveer 45% van zijn beweringen goed bij echte zoekresultaten, en zelfs slechter (37%) bij perfecte, "gouden standaard" artikelen. Hij was te veel aan het gokken.

Toen gaven de onderzoekers de robot een betere bril. Ze lieten de robot 1.500 tekens (ongeveer een volledige pagina) van elk artikel lezen. Plotseling lichtte het brein van de robot op!

• Op echte zoekresultaten sprong de nauwkeurigheid naar 58%.
• Op perfecte artikelen bereikte hij ook 58%.

De Grote Verrassing: Het maakte niet uit of het artikel perfect was of gewoon een willekeurig zoekresultaat. Zodra de robot genoeg tekst kon lezen, ondersteunde hij zijn beweringen net zo goed in beide gevallen. Het artikel stelt dat getrouwheid wordt bepaald door hoeveel de robot ziet, en niet door of de bron perfect is.

De tekst waarschuwt echter dat dit geen magische oplossing is. Zelfs op zijn best zat de robot nog steeds ongeveer 42% van zijn beweringen fout. Het is beter, maar het is nog niet perfect. Ook werkte deze "meer lezen"-truc tot een bepaald punt; nóg meer lezen hielp niet veel na 1.500 tekens.

Hendel 2: Het "Bibliotheek Zoek"-probleem (Retrieval)

Stel je nu voor dat de robot een perfect boek leest, maar het boek staat niet eens in de kast! De onderzoekers ontdekten een tweede probleem: Dekking (Coverage).

Zelfs toen de robot 1.500 tekens las, als de zoekmachine de juiste boeken niet in de eerste plaats had gevonden, kon de robot ze niet citeren. De "Betrouwbare Dekking" (hoe vaak de robot de juiste bron citeert en de feiten juist krijgt) bleef vastzitten rond de 0,22 (of 22%), ongeacht hoeveel tekst de robot las.

Waarom? Omdat de zoekmachine in de eerste plaats slechts ongeveer 40% van de juiste artikelen vond. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet kan vinden. De robot kan niet citeren wat hij niet