💬 NLP

MARCA: A Checklist-Based Benchmark for Multilingual Web Search

Dit paper introduceert MARCA, een tweetalig (Engels en Portugees) benchmark met checklist-rubrics om de prestaties van grote taalmodellen bij meertalige webzoekopdrachten te evalueren, waarbij wordt vastgesteld dat orchestratie de dekking verbetert maar er aanzienlijke variatie bestaat in de prestatieoverdracht van Engels naar Portugees.

Oorspronkelijke auteurs: Thales Sales Almeida, Giovana Kerche Bonás, Ramon Pires, Celio Larcher, Hugo Abonizio, Marcos Piau, Roseval Malaquias Junior, Rodrigo Nogueira, Thiago Laitz

Gepubliceerd 2026-04-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Thales Sales Almeida, Giovana Kerche Bonás, Ramon Pires, Celio Larcher, Hugo Abonizio, Marcos Piau, Roseval Malaquias Junior, Rodrigo Nogueira, Thiago Laitz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Wat is MARCA? (De "Super-Checklist")

Stel je voor dat je een zeer slimme, maar soms wat slordige assistent hebt (een Grote Taalmodel of AI). Je vraagt hem: "Vertel me alles over de winnaars van de Golden Globes, maar alleen voor de filmcategorieën."

De AI moet dan:

Op het internet zoeken.
De juiste websites openen en lezen.
Alle informatie samenvoegen tot een perfect antwoord.

Het probleem is: AI's zijn vaak goed in het lezen, maar slecht in het zoeken en het niet vergeten van details. Soms verzinnen ze feiten (hallucineren) of missen ze belangrijke winnaars.

MARCA is een nieuwe "toets" die onderzoekers van Maritaca AI hebben bedacht om te kijken hoe goed deze AI's echt zijn in dit soort taken. Het is speciaal gemaakt voor twee talen: Engels en Portugees.

Hoe werkt de toets? (De "Keukenschaal")

In plaats van te vragen: "Was het antwoord goed?" (wat subjectief is), gebruiken de onderzoekers een checklist.

De Vraag: De AI krijgt een vraag over meerdere onderwerpen (bijvoorbeeld: "Noem alle winnaars van de 82e Golden Globes").
De Checklist: De onderzoekers hebben een lijst gemaakt met precies wat er in het antwoord moet staan. Bijvoorbeeld:
- Moet de film The Brutalist genoemd worden?
- Moet de acteur Adrien Brody genoemd worden?
- Moet de regisseur Brady Corbet genoemd worden?

Als de AI alles op de lijst heeft, krijgt ze een 10. Als ze één ding vergeet, zakt de score. Dit is als het controleren van een boodschappenlijstje: je telt niet of de boodschappen "lekker" zijn, je telt of ze er wel zijn.

Twee Manieren van Werken (De "Solo-Kok" vs. Het "Keuken-Team")

De onderzoekers hebben de AI's op twee verschillende manieren getest om te zien welke methode beter werkt:

De "Solo-Kok" (Basic Framework):
De AI werkt alleen. Hij moet zelf zoeken, zelf lezen en zelf het antwoord schrijven. Het is alsof één kok in een drukke keuken moet proberen een complex diner te maken, terwijl hij tegelijkertijd de kruiden moet zoeken en de pan moet bewaken. Dit is lastig en hij kan dingen vergeten.
De "Chef met Assistenten" (Orchestrator Framework):
Hier werkt de AI als een chef die een team leidt. De hoofdafdeling (de "Orchestrator") deelt het grote probleem op in kleine stukjes.
- Hij zegt tegen Assistent A: "Zoek alleen de winnaars van de komedie."
- Hij zegt tegen Assistent B: "Zoek alleen de winnaars van de drama."
- Dan pakt de Chef al die stukjes en maakt er één perfect gerecht van.
- Resultaat: Dit werkt vaak veel beter, vooral voor de AI's die snel de draad kwijtraken bij grote taken.

Het Taal-Experiment (Engels vs. Portugees)

Veel AI's zijn getraind op Engels, maar wat gebeurt er als je ze in het Portugees vraagt?

Het Verwachtingsbeeld: Je zou denken dat een slimme AI in elke taal even goed is.
De Werkelijkheid: De paper laat zien dat dit niet zo is. Sommige AI's presteren in het Portugees net zo goed als in het Engels (alsof ze tweetalig zijn opgeleid). Maar andere AI's zakken flink door in het Portugees. Ze zoeken dan misschien wel, maar ze begrijpen de resultaten niet goed, of ze vergeten details omdat de zoekopdracht in het Portugees anders werkt dan in het Engels.

Het is alsof je een fotograaf vraagt om een foto te maken in de zon (Engels) en dan in de regen (Portugees). Sommige camera's werken in beide situaties perfect, maar andere worden wazig als het regent.

Wat hebben ze ontdekt?

Teamwerk werkt: De "Chef met Assistenten"-methode werkt vaak beter dan de "Solo-Kok", vooral voor moeilijke vragen met veel details.
Niet alle AI's zijn gelijk: Sommige modellen (zoals de nieuwste versies van Gemini en GPT) scoren heel hoog (bijna 90% van de checklist goed). Andere modellen scoren veel lager (soms minder dan 30%).
Taal maakt uit: Je kunt niet zomaar een Engelstalige AI gebruiken voor Portugees en hopen op hetzelfde resultaat. Je moet specifiek testen of ze de taal echt begrijpen en niet alleen vertalen.
Kosten vs. Kwaliteit: Duurdere AI-modellen (die meer rekenkracht gebruiken) geven vaak betere antwoorden, maar er zijn ook slimme "tussencategorieën" die goed genoeg zijn voor een redelijke prijs.

Conclusie

MARCA is een nieuwe, eerlijke manier om te testen of AI's echt goed kunnen zoeken op het internet, vooral in het Portugees. Het laat zien dat we AI's niet zomaar moeten vertrouwen; we moeten kijken of ze een goede "checklist" kunnen volgen en of ze in verschillende talen even goed werken.

Kortom: AI's worden slimmer, maar ze zijn nog niet perfect. En ze zijn niet in elke taal even goed.

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker gebruikt als bron van informatie, waarbij gebruikers verwachten dat het systeem niet alleen feiten ophaalt, maar deze ook synthetiseert tot betrouwbare antwoorden. De betrouwbaarheid hiervan hangt af van het vermogen om effectief op het web te zoeken, relevante bewijslast te selecteren en complete antwoorden te genereren zonder hallucinaties.

Hoewel er recente benchmarks zijn ontwikkeld voor web-browsing en agentische tool-gebruik, blijven deze grotendeels gefocust op de Engelse taal. Portugees, een van de meest gesproken talen ter wereld (met meer dan 250 miljoen moedertaalsprekers), is onderbelicht in evaluaties van webzoek- en bewijsgebaseerde antwoordcapaciteiten. Bestaande benchmarks missen vaak de nuance van taalspecifieke zoekdynamieken, contentbeschikbaarheid en query-vormuleringstrategieën die de prestaties van modellen in niet-Engelse omgevingen beïnvloeden.

Methodologie: MARCA Benchmark

De auteurs introduceren MARCA (Maritaca AI Research Checklist evAluation), een tweetalige benchmark (Engels en Portugees) die specifiek is ontworpen om de prestaties van LLMs bij webgebaseerde informatievergaring te evalueren.

1. Dataset Constructie:

Vragen: De benchmark bestaat uit 52 handmatig geschreven vragen die zich richten op multi-entity informatievragen. Deze vragen vereisen dat het systeem informatie over meerdere entiteiten identificeert, ophaalt en correct aan elkaar koppelt (bijv. het maken van een rapport over winnaars in verschillende filmcategorieën).
Checklist-rubrics: Elk vraag is gekoppeld aan een handmatig gecureerde checklist. Deze checklist specificeert de verwachte entiteiten en de vereiste velden/attributen voor een compleet antwoord.
Dynamische validatie: Een subset van de vragen gebruikt dynamische checklists waarbij verwachte waarden op het moment van evaluatie worden opgehaald (bijv. het aantal citaties van een auteur op Google Scholar), zodat de evaluatie de huidige staat van het web weerspiegelt en niet op een statische snapshot is gebaseerd.
Taalpariteit: Voor elke vraag bestaat er een parallelle versie in het Engels en Portugees, met bijbehorende taal-specifieke checklists.

2. Evaluatie Frameworks:
De modellen worden getest onder twee verschillende interactie-architecturen om te zien hoe tool-gebruik en informatie-aggregatie de prestaties beïnvloeden:

Basic Framework: Een enkel model heeft directe toegang tot web_search (via Serper API) en web_scrape. Het model moet alle queries uitvoeren, pagina's scrapen en alle informatie in zijn context houden om het eindantwoord te genereren (maximaal 40 tool-call iteraties).
Orchestrator Framework: Een hiërarchische multi-agent architectuur. Een "Orchestrator" (hoofdmodel) delegeert sub-vragen aan gespecialiseerde subagents. De subagents voeren de daadwerkelijke web-interacties uit. De Orchestrator synthetiseert vervolgens de resultaten. Dit stimuleert taak-decompositie.

3. Evaluatie Protocol:

Elke vraag wordt drie keer uitgevoerd ( $k=3$ ) om stochastische variatie in kaart te brengen.
Antwoorden worden beoordeeld door een LLM-judge (GPT-4.11) die strikt kijkt naar de checklist-items.
Scoremetriek: Checklist Accuracy wordt berekend als het aantal voldane vereisten ( $C$ ) gedeeld door het totaal aantal vereisten ( $T$ ).
Resultaten worden gerapporteerd als het gemiddelde over de runs met de standaardafwijking als maat voor onzekerheid.

Belangrijkste Bijdragen

Nieuwe tweetalige benchmark: MARCA biedt parallelle versies in het Engels en Portugees met 52 vragen over 9 domeinen, specifiek gericht op multi-entity zoekopdrachten.
Checklist-gebaseerde evaluatie: In plaats van alleen te kijken naar de tekstuele overeenkomst, gebruiken de auteurs handgeschreven rubrics om zowel correctheid als compleetheid (coverage) van het antwoord te meten.
Vergelijking van frameworks: Het paper biedt inzicht in het effect van directe tool-gebruik versus een gedistribueerde, gedecentraliseerde agent-architectuur (Orchestrator) voor complexe zoektaken.

Resultaten

De studie evalueerde 14 verschillende modellen (waaronder GPT-5, Gemini, Qwen, en Maritaca's eigen Sabia-modellen).

Prestatieverschillen: Er zijn aanzienlijke verschillen in prestaties tussen modellen. De sterkste systemen (zoals Gemini-3-pro en GPT-5.2) bereiken een checklist-coverage van ongeveer 0,90, terwijl de zwakste configuraties slechts 0,26 halen.
Impact van Orchestrator: Voor de meeste modellen verbetert de Orchestrator-framework de prestaties aanzienlijk ten opzichte van de Basic framework. Dit komt doordat het opdelen van complexe vragen in sub-taken de cognitieve last vermindert bij het bijhouden van meerdere entiteiten. Modellen die moeite hebben met consolidatie in één context (zoals Sabia-4) profiteren het meest van deze decompositie. Sterke modellen (zoals GPT-4.1) tonen soms geen verbetering of zelfs een lichte daling door de overhead van de coördinatie.
Taalverschillen (Engels vs. Portugees):
- Sommige modellen presteren consistent in beide talen, of zelfs iets beter in het Portugees (bijv. GPT-4.1).
- Andere modellen vertonen significante degradatie in het Portugees (bijv. Qwen-3-235B en Gemini-2.5-Pro), met verschillen van meer dan 5% in nauwkeurigheid.
- Dit suggereert dat meertalige web-zoeken niet alleen afhangt van taalbegrip, maar ook van het vermogen om effectieve queries in de doeltaal te formuleren en bronnen in die taal te interpreteren. Sommige modellen vertalen impliciet naar het Engels voor het zoeken, wat faalt wanneer het antwoord specifiek Portugees-gerelateerde content vereist.
Kosten vs. Prestatie: Er is een duidelijke trade-off: hogere nauwkeurigheid gaat meestal gepaard met hogere inferentiekosten. Echter, er zijn modellen die een gunstige verhouding tussen nauwkeurigheid en kosten bieden, wat practitioners helpt bij het maken van gefundeerde keuzes.

Betekenis en Conclusie

MARCA vult een cruciale kloof in de evaluatielandschap voor LLMs door de focus te verleggen van enkel Engelse, statische benchmarks naar een dynamische, meertalige omgeving.

De belangrijkste inzichten zijn:

Architectuur is cruciaal: Taak-decompositie via een Orchestrator-framework is vaak essentieel voor het succesvol beantwoorden van complexe, multi-entiteit vragen, vooral voor modellen die moeite hebben met lange contexten.
Meertaligheid is niet triviaal: Het vermogen om in het Engels te zoeken, garandeert geen succes in het Portugees. De prestaties hangen af van de specifieke zoekdynamiek en de beschikbaarheid van content in de doeltaal.
Evaluatiekwaliteit: Checklist-based evaluatie biedt een fijnmaziger en betrouwbaarder beeld van de kwaliteit van een antwoord dan traditionele methoden, omdat het expliciet eist dat alle vereiste entiteiten en attributen aanwezig zijn.

Dit werk biedt een waardevol hulpmiddel voor ontwikkelaars en onderzoekers om de betrouwbaarheid van AI-systemen in real-world, meertalige informatiescenario's te diagnosticeren en te verbeteren.