💬 NLP

MARCA: A Checklist-Based Benchmark for Multilingual Web Search

El artículo presenta MARCA, un nuevo benchmark bilingüe (inglés y portugués) basado en listas de verificación para evaluar la capacidad de los modelos de lenguaje grandes en la búsqueda de información web, destacando la necesidad de mejorar el rendimiento en portugués y la utilidad de la orquestación de agentes.

Autores originales: Thales Sales Almeida, Giovana Kerche Bonás, Ramon Pires, Celio Larcher, Hugo Abonizio, Marcos Piau, Roseval Malaquias Junior, Rodrigo Nogueira, Thiago Laitz

Publicado 2026-04-17

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Thales Sales Almeida, Giovana Kerche Bonás, Ramon Pires, Celio Larcher, Hugo Abonizio, Marcos Piau, Roseval Malaquias Junior, Rodrigo Nogueira, Thiago Laitz

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que los Modelos de Lenguaje Grandes (LLMs), como los que usas en tu teléfono o computadora, son como chefs muy inteligentes que pueden cocinar cualquier plato (responder cualquier pregunta).

El problema es que, a veces, estos chefs intentan cocinar con los ojos cerrados, confiando solo en lo que ya tienen en su memoria. Si les pides un plato nuevo o actualizado, pueden inventar ingredientes (alucinaciones) o olvidar pasos importantes.

La investigación que acabas de leer, llamada MARCA, es como un examen de cocina muy estricto diseñado para ver qué tan bien estos chefs pueden:

Ir al mercado (buscar en internet).
Leer las recetas reales (leer las páginas web).
Cocinar un plato completo y correcto (dar una respuesta basada en hechos).

Aquí te explico los puntos clave con analogías sencillas:

1. El Problema: ¿Solo hablan inglés?

La mayoría de los exámenes anteriores para estos chefs se hacían solo en inglés. Pero el mundo habla muchos idiomas. En este caso, los creadores querían ver qué pasa cuando les pides la receta en portugués (un idioma hablado por más de 250 millones de personas).

MARCA es un examen bilingüe (inglés y portugués) creado a mano. No es un examen de memoria, sino de investigación.

2. La Prueba: "La Lista de la Compra" (Checklist)

Imagina que le pides al chef: "Hazme un informe sobre los ganadores del Golden Globe de cine".
En lugar de decirle "¿Está bien o mal?", los creadores de MARCA le dan al chef una Lista de Verificación (Checklist) muy detallada.

La analogía: Es como si el chef tuviera que entregar una lista de compras. Si la lista dice "Comprar leche, huevos y pan", y el chef te trae solo leche y huevos, no pasa la prueba, aunque haya hecho un buen trabajo.
El truco: El examen no solo mira si la respuesta es correcta, sino si es completa. ¿Mencionó a todos los ganadores? ¿Mencionó a los directores? Si falta uno, el chef reprueba.

3. Dos Formas de Cocinar (Los Marcos de Trabajo)

Los investigadores probaron a los chefs de dos maneras diferentes para ver cuál funciona mejor:

Modo "Chef Solitario" (Basic): Un solo chef hace todo. Él busca en el mercado, lee las etiquetas, vuelve a buscar si necesita algo más y escribe la receta final. Es como intentar hacer una cena para 20 personas solo con tus propias manos.
Modo "Jefe de Cocina con Ayudantes" (Orchestrator): Aquí hay un Jefe de Cocina que no toca la comida. Su trabajo es dividir el trabajo.
- Le dice al Ayudante 1: "Ve a buscar los ganadores de Drama".
- Le dice al Ayudante 2: "Ve a buscar los ganadores de Comedia".
- Luego, el Jefe reúne todo y hace el informe final.
- Resultado: ¡Funciona mejor! Al dividir la tarea, los chefs (especialmente los más pequeños o menos potentes) cometen menos errores y encuentran más información.

4. El Desafío del Idioma (Inglés vs. Portugués)

Aquí es donde la cosa se pone interesante. Los investigadores descubrieron que:

Algunos chefs son políglotas: Pueden cocinar igual de bien en inglés o en portugués.
Otros se confunden: Cuando les hablan en portugués, algunos chefs (modelos) empiezan a olvidar ingredientes o a buscar en mercados equivocados.
El truco peligroso: Algunos chefs, cuando les piden algo en portugués, en realidad traducen la pregunta al inglés en su cabeza, buscan en internet en inglés y luego traducen la respuesta.
- ¿Por qué falla esto? Porque a veces la información que necesitas solo existe en portugués (como noticias locales de Brasil o detalles específicos de un evento local). Si el chef busca en inglés, no encontrará nada y tendrá que inventar.

5. ¿Vale la pena pagar más? (Costo vs. Calidad)

El estudio también miró el precio.

Analogía: Imagina que tienes un presupuesto para contratar a un chef.
- Los chefs baratos (modelos pequeños) a veces olvidan la mitad de la lista de compras.
- Los chefs caros (modelos gigantes) casi siempre traen todo lo que pides, pero cuestan una fortuna.
- La buena noticia: Hay un "punto medio". Algunos chefs cuestan un poco más que los baratos, pero traen mucha más información completa. No siempre necesitas al chef más caro del mundo para tener un buen resultado; depende de qué tan estricto seas con la lista de verificación.

En Resumen

El papel MARCA nos dice que:

No basta con que un modelo de IA sea inteligente; tiene que saber buscar y verificar información en internet.
Si le das una tarea difícil con muchos detalles (como una lista de 10 cosas), es mejor usar un sistema de equipo (un jefe que delega) que un solo modelo trabajando solo.
El idioma importa mucho. Un modelo que es genial en inglés puede fallar estrepitosamente en portugués si no sabe buscar información específica de esa cultura.
La completitud es clave. No basta con dar una respuesta; hay que dar todas las respuestas correctas.

Es como pasar de pedirle a un amigo que "cuéntame algo sobre el fútbol" a darle una lista de 14 jugadores específicos que debe mencionar, y si falta uno, le dices: "No, no me lo contaste bien". ¡Eso es MARCA!

1. El Problema

Los Grandes Modelos de Lenguaje (LLMs) se utilizan cada vez más como fuentes de información, pero su fiabilidad depende de su capacidad para buscar en la web, seleccionar evidencia relevante y sintetizar respuestas completas sin alucinaciones. Aunque existen benchmarks recientes para evaluar el uso de herramientas y la navegación web, la mayoría se centra exclusivamente en el idioma inglés.

El portugués, a pesar de ser una de las lenguas más habladas del mundo (más de 250 millones de nativos), carece de evaluaciones robustas sobre la capacidad de búsqueda web y respuesta basada en evidencia. Además, se desconoce cómo los modelos transfieren sus capacidades del inglés al portugués en entornos de búsqueda real, donde la disponibilidad de contenido y las dinámicas de recuperación pueden variar significativamente.

2. Metodología

El artículo presenta MARCA (Maritaca AI Research Checklist evAluation), un benchmark bilingüe (inglés y portugués) diseñado para evaluar la búsqueda de información basada en web.

Construcción del Dataset:
- Preguntas: 52 preguntas redactadas manualmente que requieren la identificación y asociación de información sobre múltiples entidades. Estas preguntas fomentan comportamientos de búsqueda complejos, como consultar múltiples fuentes e integrar evidencia.
- Criterios de Evaluación (Checklists): Cada pregunta se asocia con una rúbrica de verificación (checklist) redactada manualmente. Estas listas especifican las entidades esperadas y los atributos necesarios para una respuesta completa. La evaluación mide tanto la corrección como la completitud. Algunas preguntas utilizan listas dinámicas donde los valores esperados se extraen en tiempo real para evitar obsolescencia.
- Idiomas: Se ofrecen versiones paralelas en inglés (EN) y portugués (PT) con sus respectivas listas de verificación específicas.
Frameworks de Evaluación:
Se evaluaron los modelos bajo dos configuraciones de interacción:
1. Framework Básico: Un solo modelo tiene acceso directo a herramientas de web_search (búsqueda) y web_scrape (raspado de páginas). El modelo debe gestionar todo el proceso de búsqueda y síntesis en un solo contexto.
2. Framework Orquestador: Utiliza una arquitectura jerárquica de múltiples agentes. Un modelo "orquestador" descompone la pregunta compleja en sub-preguntas y delega la búsqueda de evidencia a subagentes. El orquestador no interactúa directamente con la web, sino que sintetiza los resultados parciales de los subagentes.
Protocolo de Pruebas:
- Se ejecutaron 14 modelos diferentes.
- Cada pregunta se respondió 3 veces ( $k=3$ ) para capturar la estocasticidad del modelo.
- Un juez basado en LLM (GPT-4.1) calificó las respuestas contra las listas de verificación, generando una métrica de Precisión de la Lista de Verificación (Checklist Accuracy).
- Se reportaron promedios y desviaciones estándar a nivel de ejecución para cuantificar la incertidumbre.

3. Contribuciones Clave

Nuevo Benchmark Bilingüe: MARCA es el primer benchmark que evalúa la búsqueda web y la respuesta basada en evidencia en portugués, con 52 preguntas en 9 dominios temáticos.
Evaluación Basada en Listas de Verificación: Introduce rúbricas manuales que permiten una medición granular de la corrección y la cobertura, superando las limitaciones de las métricas de similitud textual tradicionales.
Comparativa de Diseños de Interacción: Proporciona una comparación empírica entre el uso directo de herramientas (Basic) y la delegación de tareas mediante agentes (Orchestrator).
Análisis Multilingüe: Ofrece datos sobre cómo los modelos manejan la transición entre inglés y portugués en tareas de recuperación de información, revelando brechas de rendimiento específicas.

4. Resultados Principales

Variabilidad de Rendimiento: Existe una gran diferencia entre los modelos. Los sistemas más avanzados (como Gemini-3-pro y GPT-5.2) alcanzaron una cobertura de lista de verificación cercana al 0.90, mientras que los modelos más débiles (Gemini-2.5-Flash-Lite) obtuvieron apenas 0.26.
Impacto del Framework (Orquestación):
- En general, el modo Orquestador mejoró el rendimiento en comparación con el modo Básico, especialmente para modelos que luchan con la consolidación de múltiples entidades en un solo contexto.
- La descomposición de tareas redujo la carga cognitiva, permitiendo a los subagentes enfocarse en conjuntos más pequeños de hechos. Sin embargo, para modelos muy potentes (como GPT-4.1), la sobrecarga de la descomposición a veces no aportó beneficios o incluso fue ligeramente contraproducente.
Impacto del Idioma (Inglés vs. Portugués):
- El rendimiento no es uniforme al cambiar de idioma. Algunos modelos mantuvieron o mejoraron ligeramente su precisión en portugués.
- Otros modelos mostraron una degradación significativa (más del 5% de diferencia) en portugués. Esto sugiere que la búsqueda multilingüe no depende solo de la comprensión superficial del idioma, sino también de la capacidad para formular consultas efectivas en el idioma objetivo y recuperar contenido específico de esa región (ej. contenido gubernamental brasileño).
Costo vs. Rendimiento: Existe una correlación general entre un mayor costo de inferencia (tokens) y una mayor precisión, pero la relación no es lineal. Algunos modelos ofrecen mejores ratios de precisión por costo, permitiendo a los practicantes tomar decisiones informadas según sus presupuestos.

5. Significado e Importancia

El trabajo de MARCA es fundamental porque:

Expone la brecha multilingüe: Demuestra que los benchmarks centrados en inglés no son suficientes para evaluar sistemas desplegados en regiones de habla portuguesa, donde la disponibilidad de información y las estrategias de búsqueda difieren.
Valida la arquitectura de agentes: Proporciona evidencia de que la descomposición de tareas (orquestación) es una estrategia efectiva para mejorar la fiabilidad en tareas de búsqueda complejas, aunque su utilidad depende de la capacidad base del modelo.
Establece un estándar de evaluación riguroso: Al utilizar listas de verificación manuales en lugar de métricas automáticas de similitud, MARCA ofrece una evaluación más honesta de la "alucinación" y la omisión de información, problemas críticos en aplicaciones de IA generativa.

En resumen, MARCA proporciona las herramientas necesarias para diagnosticar cuándo y por qué fallan los modelos en interacciones web multilingües, guiando el desarrollo de sistemas de IA más robustos y culturalmente adaptados.