💬 NLP

Which Models Are Our Models Built On? Auditing Invisible Dependencies in Modern LLMs

Este artículo presenta ModSleuth, un sistema agéntico que reconstruye y formaliza recursivamente los complejos y fragmentados grafos de dependencia de los LLM modernos a partir de artefactos públicos, revelando información crítica sobre las obligaciones de licencia, el acoplamiento entre entrenamiento y evaluación, y las inconsistencias en la documentación.

Autores originales: Sanjay Adhikesaven, Haoxiang Sun, Sewon Min

Publicado 2026-06-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sanjay Adhikesaven, Haoxiang Sun, Sewon Min

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que compras un sándwich sofisticado y pre-elaborado en una delicatessen de lujo. El menú dice: "Hecho con ingredientes frescos". Pero no tienes idea de dónde vino el pan, quién lo horneó o si el queso fue procesado por una máquina que anteriormente se usó para fabricar otra cosa. En el mundo de la Inteligencia Artificial, específicamente de los Modelos de Lenguaje Extensos (LLM), este es exactamente el problema.

Los modelos de IA modernos ya no se construyen desde cero usando datos humanos puros. Son como obras maestras culinarias construidas enteramente a partir de las recetas de otros chefs, vegetales pre-cortados y salsas hechas por otros robots.

Aquí está el desgrecado simple de lo que trata este artículo:

El Problema: La sopa de "Ingredientes Invisibles"

En el pasado, construir una IA era como hornear un pastel: reunías harina, huevos y azúcar (datos crudos) y lo horneabas. Hoy, es más como ensamblar una comida compleja donde la harina misma fue molida por un robot, los huevos fueron clasificados por un robot diferente y la receta fue escrita por un tercer robot que aprendió de un cuarto.

Los autores llaman a esto una "dependencia recursiva".

El Probleo: Si el Modelo A usa datos generados por el Modelo B, y el Modelo B fue entrenado con datos filtrados por el Modelo C, la cadena se vuelve increíblemente larga y desordenada.
La Confusión: Estas cadenas están ocultas. Un artículo puede decir "usamos un conjunto de datos", pero no menciona que ese conjunto de datos fue creado por una versión específica de un modelo de una empresa diferente. Es como si el menú de un sándwich dijera "jamón" sin decirte que el jamón vino de una granja que fue inspeccionada por una agencia específica no listada.
El Riesgo: Si el "ingrediente" original (el Modelo C) tenía una regla estricta como "No uses mi producción para entrenar a otros robots", esa regla podría perderse mientras el ingrediente pasa del Modelo B al Modelo A. Esto crea pesadillas legales, resultados sesgados o datos "contaminados" que arruinan el producto final.

La Solución: ModSleuth (El Detective de IA)

Los autores construyeron una herramienta llamada ModSleuth. Piensa en ella como un detective superpoderoso o un auditor de la cadena de suministro para la IA.

En lugar de solo leer el menú final (la ficha del modelo), ModSleuth entra en la cocina, revisa los recibos, lee los registros de los proveedores y rastrea cada ingrediente hasta su origen.

Cómo funciona (El kit de herramientas del detective):

No solo lee; investiga: Utiliza un agente de IA (un detective digital) para leer informes técnicos, código y fichas de modelos (model cards).
Resuelve el "Juego de Nombres": A veces un modelo se llama "Olmo 3" en un artículo, pero "Olmo-3-Think" en el código. ModSleuth es lo suficientemente inteligente como para darse cuenta de que son lo mismo, solo que usando sombreros diferentes.
Dibuja un Mapa: Construye un mapa gigante y visual (un grafo de dependencia) que muestra exactamente cómo el Modelo A se conecta con el Modelo B, que se conecta con el Modelo C, y así sucesivamente.

Lo que Encontraron (La Verdad Impactante)

Los autores probaron ModSleuth en cuatro modelos de IA importantes. He aquí lo que el detective encontró que los humanos pasaron por alto:

El Efecto de la "Mano Oculta": Encontraron dependencias que llegaban hasta 8 niveles de profundidad. Por ejemplo, los datos de entrenamiento de un modelo fueron filtrados por un clasificador, el cual fue entrenado con datos generados por un modelo, el cual fue entrenado con datos de una empresa completamente diferente.
Los Benchmarks del "Doble Agente": Encontraron casos donde un modelo estaba siendo evaluado con un conjunto específico de problemas matemáticos, pero ese mismo conjunto de problemas también se usó para entrenar al modelo. Es como un estudiante tomando un examen para el cual secretamente recibió las respuestas durante su sesión de estudio.
El Vacío Legal de las Licencias: Encontraron casos donde algunos modelos estaban usando datos generados por modelos con licencias estrictas de "No Reutilización". Debido a que la cadena era tan larga, los creadores del modelo final no se dieron cuenta de que estaban rompiendo las reglas.
Las Dependencias "Fantasma": A veces, el artículo decía una cosa, pero el código decía otra. El artículo podía afirmar "usamos datos humanos", pero el código revelaba que en realidad habían usado datos generados por un robot.

La Gran Conclusión

El artículo argumenta que ya no podemos confiar únicamente en los "menús" (las fichas de modelos y artículos). El ecosistema de la IA es demasiado complejo e interconectado para que los humanos lo rastreen manualmente.

ModSleuth demuestra que:

La IA es una red gigante: Casi todos los modelos están conectados con muchos otros de formas que no conocíamos.
La transparencia está rota: La documentación actual es demasiado plana y simple para capturar estas conexiones profundas y multicapa.
Necesitamos un nuevo estándar: Así como las etiquetas de alimentos ahora enumeran alérgenos y orígenes, los modelos de IA necesitan un "mapa de dependencia" que muestre exactamente de dónde vinieron sus ingredientes, llegando hasta la fuente original.

En resumen, el artículo dice: "Construimos un detective para encontrar los ingredientes ocultos en nuestros sándwiches de IA, y descubrimos que la cocina es mucho más desordenada e interconectada de lo que nadie se había dado cuenta".

Resumen Técnico: ModSleuth – Auditoría de Dependencias Invisibles en LLMs Modernos

Declaración del Problema

El desarrollo de los Modelos de Lenguaje Extensos (LLM) modernos ha evolucionado hacia un ecosistema profundamente recursivo donde los modelos dependen cada vez más de otros modelos para la generación de datos, el filtrado, la reescritura, la evaluación y el aprendizaje de preferencias. A diferencia de los flujos de trabajo históricos que dependían principalmente de datos humanos brutos, los procesos actuales involucran dependencias complejas de múltiples etapas donde los artefactos ascendentes (por ejemplo, modelos de recompensa, jueces, generadores de datos sintéticos) moldean los pesos de los modelos y las decisiones de desarrollo posteriores.

El problema central es la falta de transparencia en estas estructuras de dependencia. Las dependencias suelen ser:

Fragmentadas: La información está dispersa en informes técnicos, tarjetas de modelos (model cards), repositorios de código y tarjetas de conjuntos de datos (dataset cards).
Recursivas: Un modelo puede depender de un artefacto ascendente cuyas propias dependencias están documentadas solo en lanzamientos separados y no relacionados.
Ambiguas: Es difícil distinguir entre dependencias directas (que afectan los pesos del modelo) e indirectas (que influyen en las decisiones de desarrollo), o reconciliar las identidades de los artefactos a través de convenciones de nomenclatura y versiones inconsistentes.

Esta opacidad conlleva riesgos concretos, incluyendo la propagación silenciosa de restricciones de licencia, la contaminación de datos que se propaga a través de rutas de múltiples saltos y sesgos de evaluación circulares donde los modelos jueces comparten la ascendencia con los sistemas que evalúan. Los métodos de auditoría existentes (por ejemplo, el mapeo de ecosistemas, la inferencia de ascendencia basada en pesos) son insuficientes, ya que a menudo se centran en nociones estrechas de linaje o no logran capturar influencias que no afectan a los pesos, como el filtrado y la evaluación.

Metodología: ModSleuth

Los autores presentan ModSleuth, un sistema agéntico diseñado para reconstruir recursivamente grafos de dependencia de LLM a partir de artefactos públicos con evidencia fundamentada en la fuente. El sistema va más allá de la simple extracción de información, que los agentes modernos ya pueden realizar, para abordar los desafíos semánticos y representacionales del rastreo de dependencias.

Principios de Diseño Centrales

Formalización de la Dependencia:
- Dependencias Directas: Artefactos ascendentes que afectan materialmente el entrenamiento o los pesos del modelo objetivo (por ejemplo, modelos de inicialización, generadores de datos sintéticos, sistemas OCR, modelos de filtrado).
- Dependencias Indirectas: Artefactos ascendentes que no entran en el entrenamiento pero influyen sustancialmente en las decisiones de desarrollo (por ejemplo, modelos de evaluación, estudios de ablación, recetas metodológicas).
- Exclusiones: Artefactos que no afectan el entrenamiento ni influyen materialmente en el desarrollo (por ejemplo, comparaciones de referencia, inspiración vaga) quedan excluidos.
Representación mediante Operaciones:
En lugar de etiquetas de dependencia fijas, las relaciones se representan como operaciones: grupos estructurados de aristas que describen un único evento de flujo de trabajo (por ejemplo, generación, filtrado, reescritura). Cada arista incluye una descripción en lenguaje natural de forma libre, un tipo de dependencia grueso y fragmentos de la fuente de apoyo.
Resolución de Identidad mediante Retículo (Lattice):
Para manejar referencias inconsistentes (por ejemplo, "Olmo 3 32B" frente a IDs de checkpoints específicos), ModSleuth utiliza un retículo de identidad. Los artefactos se organizan en familias con nodos raíz para referencias subespecificadas, nodos intermedios para resolución parcial y hojas canónicas ancladas a URLs concretas. Esto preserva la incertidumbre sin forzar una resolución prematura.

El Pipeline de ModSleuth

El sistema opera en tres fases, utilizando Claude Code como su motor agéntico subyacente:

Recopilación de Fuentes: Recopila artefactos públicos oficiales (informes técnicos, tarjetas de modelos/datasets, repositorios de código, blogs de lanzamiento) para un LLM objetivo y los organiza en lotes temáticos.
Descubrimiento y Resolución de Entidades: Extrae menciones de modelos y datasets dependientes, mapeándolos al retículo de identidad. Para los artefactos de Hugging Face, utiliza la recuperación determinista de metadatos para validar las URLs canónicas y seguir las relaciones de derivación.
Construcción y Reconciliación de Dependencias: Vuelve a leer los lotes de fuentes contra el retículo resuelto para construir aristas fundamentadas en evidencia. Fusiona las afirmaciones que describen la misma relación a través de las fuentes, señalando inconsistencias para la revisión humana.

Expansión Recursiva: El sistema aplica este pipeline de forma recursiva a los artefactos ascendentes descubiertos, lo que permite el rastreo de dependencias de múltiples saltos (por ejemplo, un modelo objetivo $\to$ modelo OCR $\to$ datos de entrenamiento del modelo OCR). Los usuarios pueden configurar la estrategia de búsqueda (BFS, DFS o búsqueda de haz/beam search) para controlar la cobertura.

Contribuciones Clave

Sistema ModSleuth: Un novedoso marco agéntico para reconstruir recursivamente grafos de dependencia fundamentados en evidencia a partir de fuentes públicas heterogéneas.
Formalización del Rastreo Recursivo: Un enfoque estructurado para distinguir entre dependencias directas e indirectas y representar roles de pipeline heterogéneos a través de relaciones centradas en operaciones.
Grafos de Dependencia a Gran Escala: La construcción de grafos de dependencia para cuatro lanzamientos de LLM ricos en artefactos públicos (Olmo 3, Nemotron 3, DR Tulu, SmolLM3), recuperando 1,060 dependencias verificadas por la fuente y construyendo grafos con hasta 8 saltos de profundidad.
Flujo de Trabajo de Auditoría: Un enfoque dirigido por consultas donde las preguntas de auditoría se ejecutan como consultas de grafo, sacando a la luz patrones de riesgo que son invisibles en documentos individuales.

Resultados y Hallazgos

Aplicado a cuatro lanzamientos de LLM diversos, ModSleuth superó significativamente a los modelos base y agentes en la recuperación de dependencias verificadas.

Rendimiento: ModSleuth (alcance ilimitado) recuperó 1,060 relaciones verificadas, más de 3 veces el más fuerte de los modelos base (GPT-5.5 Pro con 314). Incluso en el alcance conservador de profundidad 1, recuperó 484 relaciones, superando a los modelos base por un 54%.
Escala del Grafo: El grafo fusionado contiene 2,526 nodos de artefactos y 9,112 aristas.
Composición de la Dependencia:
- Directas vs. Indirectas: El 72% de las aristas verificadas son dependencias directas (afectan pesos/datos), mientras que el 28% son indirectas (influyen en el desarrollo).
- Linaje de Datos vs. Pesos: Los modelos ascendentes moldean los sistemas descendentes principalmente a través de operaciones de datos (generación, filtrado, transformación) en lugar de linaje de pesos.
- Externas vs. Internas: Entre el 75% y el 82% de las dependencias verificadas son externas a la organización objetivo, siendo las familias Qwen, Llama y OpenAI las más dominantes en la parte ascendente.

Hallazgos Cualitativos

Los grafos reconstruidos revelaron varios problemas críticos:

Subinformación e Inconsistencias: Discrepancias entre artículos, código y tarjetas de modelos (por ejemplo, el artículo de DR Tulu omitió la dependencia de Claude Sonnet 3.7 encontrada en su implementación de ScholarQA).
Rutas Relevantes para la Licencia: Cadenas de múltiples saltos donde las restricciones de licencia (por ejemplo, Llama Community License) se propagan a través de pipelines de datos sintéticos (por ejemplo, los datos de FineMath de SmolLM3 rastrean hasta anotaciones generadas por Llama).
Acoplamiento Entrenamiento-Evaluación: Benchmarks (por ejemplo, IFEval, GSM8K, SWE-Bench) que aparecen simultáneamente como artefactos de entrenamiento y objetivos de evaluación, creando una circularidad estructural.
Selección Mediada por Modelos: Modelos ascendentes (jueces, filtros) decidiendo qué ejemplos se crean o se retienen, concentrando la influencia en unas pocas familias (Qwen, DeepSeek, Llama).
Procedencia a Nivel de Código: Las dependencias críticas suelen estar ocultas en scripts de entrenamiento y configuraciones YAML en lugar de en la documentación de alto nivel.

Significancia y Limitaciones

Significancia:
El artículo argumenta que la falta de transparencia en las dependencias de los LLM es estructural, no incidental. ModSleuth demuestra que los ecosistemas de LLM modernos son mucho más interconectados y recursivamente dependientes de lo que se reconocía anteriormente. El trabajo proporciona una base para auditar, comprender y gobernar estos ecosistemas al transformar evidencia pública fragmentada en grafos estructurados y consultables. Destaca que los mecanismos de divulgación actuales (tarjetas de modelos, hojas de datos) son fundamentalmente demasiado planos para capturar dependencias recursivas y de múltiples etapas.

Limitaciones:

Límite Inferior: ModSleuth identifica las dependencias declaradas a partir de artefactos públicos. No puede recuperar dependencias no documentadas, propietarias o internas. Por lo tanto, los grafos resultantes representan un límite inferior fundamentado en evidencia de la estructura de dependencia real.
Verdad Fundamental (Ground Truth): No existen grafos de verdad fundamental completos, lo que dificulta la medición de la recuperación absoluta. La evaluación depende de la verificación post-hoc de la evidencia reportada.
Sesgo del Agente: Tanto el pipeline de extracción como el de verificación dependen de Claude Code, lo que potencialmente introduce sesgos de modelado compartidos.
Alcance: El análisis se restringe a fuentes oficiales; se excluyen las afirmaciones de terceros no verificadas.

Los autores concluyen que, a medida que los pipelines de LLM se vuelven cada vez más recursivos, los esfuerzos de transparencia deben evolucionar más allá de la documentación plana hacia esquemas que representen explícitamente la estructura de dependencia, la evidencia y la semántica de los roles.