🤖 machine learning

LLM as Detector: An In-context Learning Approach for Tabular Anomaly Detection

Este artículo propone LLM-Detector, un nuevo marco que aprovecha el aprendizaje en contexto para convertir datos tabulares normales en prompts estructurados para motores de puntuación generados por código, permitiendo una detección de anomalías efectiva a través de diversos conjuntos de datos sin la necesidad de ajuste fino o entrenamiento de redes neuronales.

Autores originales: Tu Anh Hoang Nguyen, Dang Nguyen, Thuc Duy Le, Trung Le, Sunil Gupta

Publicado 2026-08-21

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tu Anh Hoang Nguyen, Dang Nguyen, Thuc Duy Le, Trung Le, Sunil Gupta

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el vasto y silencioso zumbido de los centros de datos modernos, un tipo específico de problema suele esconderse a plena vista. No es una explosión dramática ni un error evidente, sino una incorrección sutil dentro de una hoja de cálculo de números y categorías. Este es el mundo de los datos tabulares, el libro contable digital que registra todo, desde transacciones bancarias y registros médicos hasta registros de servidores y reclamaciones de seguros. Durante décadas, se ha encomendado a las computadoras la tarea de encontrar la única transacción fraudulenta entre millones de transacciones legítimas, o al único paciente enfermo entre miles de pacientes sanos. El desafío es que estas "anomalías" rara vez parecen errores obvios. A menudo parecen perfectamente normales en la superficie, pero violan las reglas ocultas que rigen cómo las diferentes piezas de información deben relacionarse entre sí. La edad, los ingresos y el tramo impositivo de una persona suelen seguir un patrón predecible; cuando no es así, indica un problema, incluso si cada número individual parece plausible por sí solo.

Durante años, la forma estándar de detectar estos errores ocultos ha sido construir modelos matemáticos complejos que aprenden cómo es lo "normal", para luego señalar cualquier cosa que se desvíe demasiado de ese patrón. Más recientemente, científicos han intentado utilizar modelos de lenguaje de gran tamaño —los mismos sistemas de inteligencia artificial potentes que pueden escribir ensayos o responder preguntas— para detectar estos errores. La idea era que, si se podía enseñar a una computadora a leer una fila de datos como si fuera una oración, esta podría entender mejor la historia detrás de los números de lo que podría hacerlo una calculadora. Sin embargo, estos primeros intentos enfrentaron un obstelo significativo: o eran demasiado lentos para ser útiles en tiempo real, o requerían que la IA fuera reentrenada con nuevos datos, lo cual es costoso y computacionalmente pesado. Tuvieron dificultades para manejar la mezcla desordenada de números y categorías de texto que suelen contener los datos del mundo real, perdiendo a menudo el significado de los datos en el proceso.

Un equipo de investigadores de universidades de Australia ha propuesto una forma diferente de resolver este rompecabezas, una que trata a la inteligencia artificial no como un estudiante al que hay que entrenar, sino como un arquitecto experto al que se le entrega un plano. En lugar de obligar a la IA a aprender desde cero o memorizar ejemplos, le pidieron que escribiera un programa personalizado basado en un resumen de cómo son los datos normales. Los investigadores llaman a este nuevo enfoque LLM-Detector. Su método se basa en un concepto llamado aprendizaje en contexto (in-context learning), que permite a un modelo de lenguaje de gran tamaño realizar una tarea compleja simplemente mediante la entrega de una descripción clara de las reglas y algunos ejemplos, sin necesidad de cambiar su cerebro interno ni de someterse a un largo proceso de entrenamiento.

El proceso comienza tomando una gran colección de datos normales y saludables —como miles de registros bancarios legítimos— y destilándola en tres tipos clave de información. Primero, el sistema calcula el perfil estadístico de cada columna, anotando los valores promedio, los rangos típicos y la frecuencia de las diferentes categorías. Segundo, traza las relaciones causales, determinando qué piezas de información dependen de otras; por ejemplo, aprende que un ingreso alto suele correlacionarse con un tramo impositivo específico. Tercero, selecciona un grupo pequeño y representativo de puntos de datos reales que actúan como anclas, mostrando la forma y la dispersión típicas de los datos. Estos tres elementos se empaquetan luego en un único y detallado "prompt" (instrucción) y se envían al modelo de lenguaje de gran tamaño.

El modelo lee este prompt y, actuando como un generador de código, escribe un programa informático completo y ejecutable diseñado específicamente para ese conjunto de datos. Este programa no es una suposición; es un conjunto de instrucciones que sabe exactamente cómo buscar anomalías estadísticas, cómo detectar relaciones rotas entre variables y cómo medir qué tan lejos se sitúa un nuevo punto de datos del centro de la multitud normal. Una vez escrito este programa, se guarda y se ejecuta contra nuevos datos no vistos. Cuando llega un nuevo registro, el programa calcula instantáneamente una puntuación de anomalía, un número que indica qué tan sospechoso es el registro. Si la puntuación es alta, significa que el registro viola las reglas que la IA dedujo de los datos normales.

Los investigadores probaron este método en veinticuatro conjuntos de datos diferentes, que van desde pequeños registros médicos hasta masivos registros de ciberseguridad. Compararon su enfoque con otros quince métodos de vanguardia, incluyendo herramientas estadísticas tradicionales, modelos de aprendizaje profundo y los intentos previos de usar modelos de lenguaje para esta tarea. Los resultados mostraron que su método superó consistentemente a los demás, particularmente en conjuntos de datos que mezclaban números y categorías de texto. En promedio, su enfoque logró una puntuación de precisión de detección de 0.7407, que fue superior al siguiente mejor método. Crucialmente, este rendimiento se logró sin el pesado costo computacional de entrenar un nuevo modelo. Debido a que la IA solo escribe el código una vez y luego se hace a un lado, el sistema es increíblemente rápido, tomando solo una fracción de segundo para procesar datos en comparación con los minutos u horas requeridos por otros métodos.

El estudio también exploró cómo diferentes partes del sistema contribuyeron a su éxito. Encontraron que darle a la IA solo los números estadísticos era útil, pero añadir el mapa de relaciones entre variables la hacía significativamente mejor para detectar errores sutiles. Incluir los ejemplos representativos de los datos normales refinó aún más la capacidad del sistema para comprender la forma general de los datos. Los investigadores también probaron el método con diferentes modelos de IA subyacentes y descubrieron que, si bien los modelos más fuertes funcionaban ligeramente mejor, el diseño central de escribir un programa personalizado funcionaba bien en todos los casos. Esto sugiere que el poder del método proviene de la estructura del enfoque —traducir los datos en un conjunto de reglas lógicas— más que de depender de un tipo específico de inteligencia artificial.

Al convertir el problema de la detección de anomalías en una tarea de generación de código, los investigadores han creado un sistema que es tanto potente como práctico. No requiere la enorme potencia de cómputo que suele asociarse con la inteligencia artificial avanzada, ni necesita ser reentrenado cada vez que los datos cambian. Simplemente lee la historia de lo que es normal, escribe un libro de reglas para detectar las excepciones y luego aplica ese libro de reglas al mundo real. Este enfoque ofrece un camino prometedor para industrias que necesitan monitorear vastas cantidades de datos en busca de riesgos, desde la prevención del fraude financiero hasta la seguridad de las redes informáticas, demostrando que, a veces, la forma más efectiva de encontrar una aguja en un pajar es enseñarle a la computadora cómo construir un mejor imán.

Resumen Técnico: LLM como Detector para la Detección de Anomalías Tabulares

Definición del Problema

El artículo aborda la Detección de Anomalías Tabulares (TAD) en entornos no supervisados, donde los modelos deben identificar registros anormales utilizando únicamente datos normales de entrenamiento ( $D_{normal}$ ). Los autores destacan que la TAD es particularmente desafiante porque las anomalías suelen manifestarse como violaciones de las dependencias entre características o mecanismos causales, en lugar de simples desviaciones numéricas marginales.

Los métodos existentes enfrentan varias limitaciones:

Los enfoques basados en reconstrucción (p. ej., Autoencoders, DeepSVDD) a menudo se centran en la fidelidad de la reconstrucción y no logran imponer una consistencia explícita entre las características.
Los métodos basados en densidad (p. ej., Isolation Forest, KNN) tratan las anomalías como puntos distantes, teniendo dificultades con muestras que son numéricamente plausibles pero estructuralmente inconsistentes.
Los enfoques previos basados en LLM (específicamente AnoLLM y LLM-DAS) sufren de altos costos computacionales debido a la inferencia por muestra o al ajuste fino (fine-tuning), o bien no logran manejar simultáneamente tipos de datos mixtos, eficiencia computacional y modelado causal.

Metodología: LLM-Detector

Los autores proponen LLM-Detector, un marco que aprovecha las capacidades de aprendizaje en contexto (in-context learning) de los Modelos de Lenguaje de Gran Escala (LLMs) para sintetizar un motor de detección de anomalías ejecutable. Crucialmente, el LLM no se ajusta mediante fine-tuning; en su lugar, actúa como un sintetizador de código determinista condicionado por el conocimiento estructurado del estado normal extraído del conjunto de entrenamiento.

El marco opera en dos fases distintas:

1. Conocimiento-a-Código (Construcción de Prompts y Generación de Código)

Los datos de entrenamiento normales ( $D_{normal}$ ) se transforman en un "paquete de conocimiento del estado normal" compacto y se inyectan en el prompt del LLM. Este paquete consta de tres componentes estructurados:

Perfiles Estadísticos ( $p_{stats}$ ): Resúmenes marginales para cada característica. Para características numéricas, incluye media, varianza y límites empíricos; para características categóricas, incluye probabilidades de categoría empíricas.
Conocimiento Causal ( $p_{causal}$ ): Un Grafo Acíclico Dirigido (DAG) que representa las dependencias entre características, estimado mediante el algoritmo Peter-Clark (PC). Este captura las relaciones condicionales entre variables padre e hija.
Prototipos Destilados ( $p_{distill}$ ): Un subconjunto representativo de muestras normales obtenido mediante agrupamiento K-Means y mapeo de vecinos más cercanos. Estos sirven como anclajes geométricos para verificaciones de densidad multivariante.

El LLM recibe un prompt que contiene estos perfiles, un objetivo para generar un motor de puntuación en Python y requisitos específicos (p. ej., salida acotada, ejecución determinista). El LLM genera un script de Python que implementa la lógica de puntuación.

2. Código-a-Puntuación (Inferencia en Tiempo de Prueba)

El script de Python generado se ejecuta sobre las muestras de prueba ( $D_{test}$ ) para calcular una puntuación de anomalía $S(x) \in [0, 100]$ . La puntuación es una agregación de tres componentes:

Puntuación de Outlier ( $S_{outlier}$ ): Mide la desviación marginal. Las características numéricas se penalizan según la desviación estandarizada de la media; las características categóricas se penalizan según la baja probabilidad empírica.
Puntuación de Violación Causal ( $S_{causal}$ ): Detecta inconsistencias estructurales. Verifica si una característica hija es anormal mientras sus padres causales permanecen normales, lo que indica un mecanismo de dependencia roto.
Puntuación de Densidad ( $S_{density}$ ): Calcula la distancia de Mahalanobis de la muestra de prueba respecto al manifold normal utilizando los prototipos destilados y las estimaciones de covarianza.

La puntuación final está acotada y calibrada, lo que permite la comparación directa entre muestras sin requerir información de etiquetas durante el proceso de puntuación.

Contribuciones Clave

Innovación del Marco: Introducción de LLM-Detector, que trata el aprendizaje en contexto como un mecanismo para sintetizar lógica de detección de anomalías ejecutable y específica del dominio sin entrenamiento ni ajuste fino del modelo.
Factorización de Conocimiento Estructurado: Formalización del conocimiento del estado normal en perfiles estadísticos, relaciones causales y prototipos destilados. El artículo demuestra que la inyección de este conocimiento estructurado permite la generación de una lógica de puntuación guiada por la estructura causal.
Validación Empírica: Evaluación extensiva en 24 conjuntos de datos diversos (12 de tipo mixto, 12 de solo continuos) frente a 15 líneas base del estado del arte, incluyendo métodos estadísticos clásicos, modelos de aprendizaje profundo y enfoques recientes basados en LLM.

Resultados Experimentales

Rendimiento: LLM-Detector logró el promedio de AUC-ROC más alto en todos los conjuntos de datos.
- Conjuntos de datos de tipo mixto: Alcanzó un AUC-ROC promedio de 0.7407, superando al segundo mejor método (AnoLLM con 0.6972) por aproximadamente un 5%.
- Conjuntos de datos de solo continuos: Logró un rendimiento de primer nivel (0.91), demostrando generalización a espacios totalmente continuos.
Estudios de Ablación:
- La combinación de los tres tipos de conocimiento (Estadística + Causal + Destilado) produjo los mejores resultados, confirmando que las anomalías se detectan mejor considerando simultáneamente factores marginales, estructurales y multivariantes.
- El método es robusto a través de diferentes backbones de LLM (DeepSeek, GPT, Gemini), aunque Gemini-3.0 funcionó mejor debido a su superior razonamiento de contexto largo y síntesis de código.
- El rendimiento se estabilizó con 100 muestras destiladas, mostrando rendimientos decrecientes más allá de este punto.
Eficiencia: El método es computacionalmente eficiente en el tiempo de prueba. A diferencia de los métodos basados en entrenamiento (p. ej., AnoGAN, AnoLLM) que requieren un tiempo significativo de GPU, la inferencia de LLM-Detector se reduce a la ejecución de un script de Python pre-sintetizado y ligero.

Significado y Reivindicaciones

El artículo afirma que LLM-Detector ofrece una solución práctica para la detección de anomalías tabulares en el mundo real al:

Eliminar la necesidad de ajuste fino (fine-tuning) del LLM, reduciendo así los costos computacionales y evitando la necesidad de reentrenamiento a gran escala del modelo, mientras se utiliza un conjunto de entrenamiento normal para la extracción de conocimiento.
Manejar tipos de datos mixtos (categóricos y continuos) de forma nativa a través de contexto textual y razonamiento semántico, evitando la distorsión semántica que suele causar el codificación de variables categóricas en backbones numéricos tradicionales.
Permitir el razonamiento causal sin necesidad de etiquetas de verdad fundamental (ground-truth), aprovechando el descubrimiento causal basado en datos para detectar violaciones de mecanismos.
Proporcionar interpretabilidad y determinismo, ya que el resultado es un programa ejecutable basado en reglas estadísticas y causales explícitas en lugar de la predicción de una red neuronal de "caja negra".

Los autores concluyen que su diseño cierra la brecha entre los datos estadísticos brutos y las reglas de detección ejecutables y conscientes de la causalidad, logrando un rendimiento fuerte y estable mediante la generación de código basada en principios de aprendizaje en contexto.