AgentExpt: Automating AI Experiment Design with LLM-based Resource Retrieval Agent

1. Planteamiento del Problema

En la investigación moderna de Inteligencia Artificial, la selección de líneas base (baselines) y conjuntos de datos (datasets) es una decisión crítica que determina la validez, reproducibilidad y comparabilidad de los resultados experimentales. Sin embargo, este proceso enfrenta tres desafíos principales:

• Saturación y Fragmentación: El ecosistema de líneas base y datasets ha crecido exponencialmente, haciendo difícil identificar las opciones más adecuadas.
• Dependencia del Contexto: La idoneidad de un recurso no es intrínseca; depende del contexto experimental específico. Un recurso adecuado en un escenario puede ser engañoso en otro, pero esta información rara vez está explícita en los metadatos o descripciones oficiales.
• Limitaciones de los Sistemas Actuales: Las herramientas existentes suelen basarse en similitud temática superficial (palabras clave) o en inventarios curados por portales (como Papers with Code), ignorando cómo se utilizan realmente los recursos en la literatura científica. Además, suelen tratar la selección de líneas base y datasets de forma desacoplada, sin considerar su compatibilidad conjunta.

2. Metodología: El Framework AgentExpt

AgentExpt es un marco integral diseñado para automatizar la recomendación de líneas base y datasets mediante un agente de recuperación basado en LLM. Su arquitectura se compone de tres pilares fundamentales:

A. Construcción de una Base de Conocimientos a Gran Escala

Para abordar la falta de cobertura, los autores construyeron una base de conocimientos automatizada que vincula 108,825 artículos aceptados (de las 10 conferencias principales de IA: NeurIPS, ICML, ICLR, ACL, etc., entre 2015-2025) con sus líneas base y datasets reales.

• Proceso: Se utiliza un pipeline automatizado que extrae secciones experimentales de los PDF, identifica menciones de entidades y aplica filtrado basado en reglas y LLMs (GPT-4o) para normalizar nombres y eliminar falsos positivos.
• Resultado: Un grafo heterogéneo con ~117k líneas base y ~68k datasets, capturando ~543k conexiones artículo-línea base y ~326k conexiones artículo-dataset.

B. Recuperador Mejorado con Percepción Colectiva (Collective Perception-Augmented Retrieval)

Este módulo busca superar la similitud puramente temática.

• Percepción Colectiva: En lugar de usar solo la descripción del autor (primera persona), el sistema extrae y resume los contextos de citación de otros artículos (tercera persona). Esto captura cómo la comunidad realmente usa el recurso (tareas, métricas, configuraciones típicas).
• Representación Dual: Se concatena la descripción propia del recurso con el resumen de su percepción colectiva.
• Entrenamiento: Se ajusta fino (fine-tuning) un modelo de incrustación (Qwen3-Embedding) para recuperar candidatos cuya pauta de uso coincida con la intención de evaluación del usuario, no solo su vocabulario.

C. Reordenamiento Aumentado por Razonamiento (Reasoning-Augmented Reranking)

Para capturar la sinergia entre líneas base y datasets, se introduce una etapa de reordenamiento.

• Cadenas de Interacción: Se extraen cadenas estructurales de la literatura, como Artículo → Dataset → Artículo → Línea Base (P-D-P-B) o viceversa. Estas cadenas evidencian compatibilidad experimental real.
• Razonamiento LLM: Se utiliza un LLM (DeepSeek-R1-Distill-Qwen-7B) ajustado finamente mediante Supervised Fine-Tuning (SFT). El modelo recibe la consulta, las cadenas de interacción como evidencia y debe generar una justificación interpretable y una lista reordenada.
• Objetivo: Priorizar componentes que son experimentalmente compatibles, no solo temáticamente similares.

3. Contribuciones Clave

1. AgentExpt Framework: Un sistema unificado que automatiza la selección de recursos experimentales considerando la idoneidad contextual.
2. Base de Conocimientos sin Precedentes: La creación de un dataset masivo y de alta calidad que vincula artículos con sus componentes experimentales reales, superando las limitaciones de los portales existentes.
3. Señal de Percepción Colectiva: La innovación de utilizar el contexto de citación (tercera persona) como señal de uso real para enriquecer las representaciones de recuperación.
4. Razonamiento Basado en Cadenas: Un mecanismo de reordenamiento que utiliza cadenas de interacción artículo-entidad para justificar las recomendaciones y mejorar la precisión.

4. Resultados Experimentales

El sistema se evaluó frente a siete líneas base de cuatro paradigmas diferentes (coincidencia léxica, clasificación supervisada, recuperación densa y métodos basados en grafos).

• Rendimiento General: AgentExpt superó consistentemente a todos los competidores.
  • Recall@20: Mejora promedio de +5.85% sobre la línea base más fuerte (SymTax).
  • HitRate@10: Mejora promedio de +7.90%.
  • HitRate@5: Mejora de +8.30%.
• Estudios de Ablación:
  • La Percepción Colectiva fue el componente más crítico para la recuperación (su eliminación causó una caída de ~17-18% en Recall).
  • El Razonamiento de Cadenas fue esencial para la precisión final (su eliminación redujo el HitRate@5 en ~20-28%).
• Eficiencia: El sistema mantiene una latencia de inferencia baja (~0.367s por consulta), lo que lo hace viable para flujos de trabajo interactivos.

5. Significado e Impacto

• Automatización Rigurosa: AgentExpt cierra la brecha en la automatización de la investigación científica, moviendo el enfoque desde la generación de ideas hacia la diseño experimental riguroso y basado en evidencia.
• Reproducibilidad: Al basar las recomendaciones en el uso real documentado en la literatura en lugar de en metadatos estáticos, el sistema promueve la reproducibilidad y reduce la selección sesgada de recursos.
• Infraestructura Comunitaria: Proporciona una capa de infraestructura que conecta la literatura académica con los componentes experimentales, permitiendo que los agentes de IA tomen decisiones de diseño experimental que son auditable y justificables.
• Limitaciones y Futuro: El sistema depende de la literatura histórica (puede tener sesgo hacia recursos populares) y su cobertura actual se limita a las principales conferencias de IA. El trabajo futuro apunta a expandir la cobertura a otros dominios científicos y actualizar la base de conocimientos de forma incremental.

En resumen, AgentExpt representa un avance significativo hacia la "ciencia automatizada", transformando la selección de recursos experimentales de una tarea manual y propensa a errores en un proceso automatizado, contextualmente consciente y fundamentado en el consenso de la comunidad científica.