💬 NLP

RARe: Retrieval Augmented Retrieval with In-Context Examples

El artículo presenta RARe, un método que mejora el rendimiento y la generalización de los modelos de recuperación de texto basados en codificadores mediante el ajuste fino con ejemplos en contexto semánticamente similares a la consulta objetivo.

Autores originales: Atula Tejaswi, Yoonsang Lee, Sujay Sanghavi, Eunsol Choi

Publicado 2026-02-10

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Atula Tejaswi, Yoonsang Lee, Sujay Sanghavi, Eunsol Choi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Problema: El Bibliotecario con "Memoria Corta"

Imagina que vas a una biblioteca gigante y le pides al bibliotecario: "Búscame algo sobre cómo arreglar un motor de coche".

El bibliotecario es muy inteligente, pero tiene un pequeño problema: es un modelo de "solo codificación" (encoder-only). Esto significa que, aunque sabe mucho, cuando le haces una pregunta, intenta procesarla de forma aislada, como si fuera la primera vez que escucha algo en su vida. No tiene ese "toque" de contexto que tienen otros modelos más grandes (como ChatGPT), que parecen entender no solo la pregunta, sino el sentido de la conversación.

Hasta ahora, si le dabas ejemplos a este bibliotecario sin haberlo entrenado antes, se confundía y te daba peores resultados. Era como si, al intentar ayudarle con ejemplos, lo distraigas de su tarea principal.

La Solución: RARe (El Bibliotecario con "Notas de Referencia")

Los investigadores crearon un método llamado RARe.

Imagina que ahora, cuando le haces la pregunta del motor, el bibliotecario no solo escucha tu frase. Antes de responder, él mismo corre rápidamente por los pasillos, busca en sus fichas tres o cuatro preguntas que se parecen a la tuya y sus respuestas correspondientes.

Entonces, se sienta en su escritorio con una pequeña nota que dice:

"Mira, alguien antes preguntó algo similar a esto... y la respuesta fue esta. Ahora, basándote en ese estilo y en ese tema, busca lo que te pedí originalmente".

RARe no es solo darle ejemplos al azar; es enseñarle al modelo a buscar sus propios ejemplos relevantes antes de trabajar. Es como darle un "calentamiento" con temas similares para que su cerebro se sintonice en la frecuencia correcta.

¿Cómo lo hicieron? (La receta secreta)

Búsqueda de "Primos Cercanos": Usan un sistema rápido (llamado BM25, que es como un índice de palabras clave) para encontrar preguntas que se parezcan a la tuya.
Entrenamiento con Contexto: No solo le piden que aprenda a buscar, sino que lo entrenan específicamente para que sepa leer y usar esos ejemplos. Le enseñan: "Si ves un ejemplo así, úsalo para entender mejor la pregunta nueva".
El Resultado: El modelo se vuelve mucho más astuto.

¿Por qué es importante? (Los resultados)

Los científicos probaron esto y descubrieron cosas asombrosas:

Es un experto en temas nuevos: Lo más impresionante es que, cuando le preguntaban sobre temas que nunca había visto en su entrenamiento (lo que llaman "fuera de dominio"), el modelo era mucho más capaz de "adivinar" y encontrar la respuesta correcta gracias a los ejemplos. Es como si, aunque no supiera de medicina, al ver ejemplos de términos científicos, supiera cómo comportarse.
Mejora la precisión: En tareas de razonamiento complejo, la mejora fue notable (hasta un +2.72% en métricas de precisión). En el mundo de la inteligencia artificial, ese pequeño porcentaje es como pasar de un examen de "aprobado raspado" a un "sobresaliente".

En resumen...

RARe convierte a un buscador que trabaja "a ciegas" en un buscador que aprende sobre la marcha. En lugar de lanzarse a buscar a ciegas, primero mira ejemplos similares para entender el "vibe" o el contexto de lo que buscas, y así darte la respuesta perfecta.

Es pasar de un buscador que solo lee palabras, a uno que entiende el contexto de la conversación.

1. El Problema (Problem Statement)

El aprendizaje en contexto (In-Context Learning o ICL) ha demostrado ser una capacidad extraordinaria en los modelos de lenguaje de solo decodificador (LLMs), permitiéndoles realizar tareas sin actualizar sus parámetros. Sin embargo, su utilidad en modelos de solo codificador (modelos de embedding o de recuperación densa) ha sido poco explorada.

El problema central que aborda este estudio es: ¿Puede la incorporación de ejemplos en contexto (pares de consulta-documento) mejorar el rendimiento de un recuperador (retriever)? Los autores observan que, a diferencia de los LLMs, si se añaden ejemplos de forma ingenua (zero-shot) a un modelo de embedding preentrenado, el rendimiento suele caer significativamente. Por lo tanto, el reto es diseñar un método que permita a los modelos de codificación aprovechar la información relevante de los ejemplos sin degradar su capacidad de representación.

2. Metodología (Methodology)

Los autores proponen RARe (Retrieval-Augmented Retrieval with In-Context Examples). La idea fundamental es que los ejemplos en contexto no deben ser aleatorios, sino semánticamente similares a la consulta objetivo.

El proceso técnico se divide en:

Selección de ejemplos: Para una consulta objetivo $q$ , se utiliza un recuperador disperso (BM25) para encontrar las $k$ consultas más cercanas en el conjunto de entrenamiento. Esto genera un conjunto de ejemplos $D_{RARe}$ que contienen pares de (consulta similar, documento relevante).
Aumento de la consulta (Augmentation): Se construye un nuevo formato de entrada que concatena una instrucción de tarea, los ejemplos seleccionados y, finalmente, la consulta original:
- Formato: [Instrucción]; Query: [q_ejemplo1]; Document: [d_ejemplo1] ...; Query: [q_objetivo]
Entrenamiento: El modelo se entrena mediante aprendizaje contrastivo utilizando este nuevo formato aumentado. Esto enseña al codificador a generar un vector de consulta que integre la información semántica de los ejemplos previos para mejorar la precisión de la búsqueda.

El estudio evalúa dos configuraciones de entrenamiento:

Partiendo de checkpoints de LLMs (solo decodificadores) para ver si se preserva su capacidad de ICL.
Partiendo de modelos de recuperación ya existentes (como E5-Mistral) para realizar un ajuste fino continuo (continued fine-tuning).

3. Contribuciones Clave (Key Contributions)

Introducción de RARe: Un nuevo paradigma de entrenamiento que adapta modelos de recuperación para aprovechar ejemplos en contexto seleccionados por similitud semántica.
Demostración de versatilidad: El método funciona tanto en arquitecturas de solo decodificador como en modelos de embedding especializados.
Análisis exhaustivo de diseño: El estudio proporciona una guía sobre la calidad, cantidad y formato óptimo de los ejemplos (por ejemplo, descubriendo que los documentos en los ejemplos son más útiles que las consultas solas).
Generalización fuera de dominio (OOD): Demuestran que RARe mejora la capacidad del modelo para manejar tareas que no vio durante el entrenamiento.

4. Resultados (Results)

Los resultados son consistentes y superiores a los métodos actuales:

Mejora en Benchmarks: En el benchmark BeIR, RARe logra mejoras de hasta +1.41% nDCG@10 en tareas estándar.
Razonamiento complejo: En el benchmark RAR-b (orientado al razonamiento), las ganancias son aún más notables, alcanzando hasta un +2.72% nDCG@10.
Superioridad sobre ICL aleatorio: RARe supera significativamente al método de usar ejemplos aleatorios (BGE-ICL), confirmando que la similitud semántica de los ejemplos es el factor crítico para el éxito.
Generalización: Los modelos entrenados con RARe muestran una robustez superior en conjuntos de datos out-of-domain (fuera de dominio) en comparación con los modelos que solo usan la consulta original.

5. Significancia (Significance)

Este trabajo es fundamental porque establece las bases para el "aprendizaje en contexto para la recuperación". Mientras que la tendencia actual es usar LLMs generativos para expandir consultas (lo cual es costoso), RARe propone una solución más eficiente mediante el entrenamiento de modelos de embedding densos.

La investigación demuestra que los modelos de codificación pueden "aprender" a usar el contexto para refinar su comprensión de la intención del usuario, lo que abre la puerta a sistemas de búsqueda mucho más inteligentes y adaptables que pueden mejorar su precisión en tiempo real simplemente proporcionando ejemplos relevantes.