Image-Based Structural Analysis Using Computer Vision and LLMs: PhotoBeamSolver

1. Planteamiento del Problema

El análisis estructural tradicional requiere que los ingenieros y estudiantes ingresen manualmente datos geométricos, condiciones de contorno y cargas en software especializado (como SAP2000, ETABS) o calculadoras en línea. Esto presenta varias limitaciones:

• Barrera de entrada: Muchas herramientas son costosas o requieren conocimientos técnicos específicos (ej. programación).
• Ineficiencia: El proceso de transcripción de un diagrama dibujado a mano o una imagen a un modelo computacional es lento y propenso a errores humanos.
• Brecha tecnológica: Aunque la visión por computadora se usa para inspección de daños (grietas, corrosión), su aplicación para la resolución analítica directa de modelos estructurales ideales a partir de imágenes es un campo emergente y poco explorado.

El objetivo del trabajo es desarrollar un sistema capaz de tomar una imagen de un diagrama de viga idealizado (típico de libros de texto o ejercicios académicos) y resolverlo automáticamente, generando fuerzas de reacción, diagramas de cortante, momento flector y deflexión.

2. Metodología

El sistema PhotoBeamSolver se basa en una tubería (pipeline) híbrida que combina Visión por Computadora (CV) y Modelos de Lenguaje Grande (LLMs). La arquitectura se divide en dos etapas principales:

A. Percepción y Detección (Visión por Computadora)

• Modelo: Se utiliza una red neuronal convolucional (CNN) basada en la arquitectura YOLO (You Only Look Once), específicamente entrenada para la detección de objetos.
• Entrenamiento: El modelo se entrenó con un conjunto de datos supervisado de 532 diagramas de vigas anotados. Las etiquetas incluyen soportes (articulados, rodillos, empotrados), cargas puntuales, cargas distribuidas y marcadores geométricos.
• Procesamiento:
  • Realiza inferencia en una sola etapa para predecir coordenadas de cajas delimitadoras, clases y puntuaciones de confianza.
  • Utiliza supresión de no máximos (NMS) para eliminar detecciones redundantes.
  • Post-procesamiento geométrico: Convierte las coordenadas de las cajas delimitadoras en una representación mecánica estructurada. Calcula posiciones relativas, proyecta cargas sobre el eje de la viga y extrae magnitudes basándose en la proximidad a anotaciones manuscritas.

B. Razonamiento Analítico (LLM y Solucionador)

• Enfoque Híbrido: Una vez que la imagen se convierte en una representación simbólica estructurada (texto con parámetros), esta se pasa a un módulo de solución.
• Uso de LLM: El sistema puede utilizar un LLM (como GPT) para interpretar las instrucciones estructuradas y generar derivaciones analíticas. El LLM actúa como un detector e intérprete de parámetros, no como un modelo de regresión numérica directa. Esto permite formular ecuaciones de equilibrio consistentes con la mecánica estructural clásica.
• Solucionador Determinista: Alternativamente, el sistema puede usar un solucionador determinista (como la librería Python IndeterminateBeam) para calcular las fuerzas y diagramas finales basándose en la entrada estructurada.
• Seguridad: Se mantiene una separación estricta entre la detección visual y el solucionador para evitar que las ambigüedades visuales o las "alucinaciones" del LLM corrompan los resultados numéricos.

3. Contribuciones Clave

1. Pipeline de Imagen-a-Análisis: Demostración de la viabilidad de convertir un dibujo de viga directamente en soluciones de ingeniería estructural sin intervención manual de datos.
2. Arquitectura Híbrida CV-LLM: Integración de la detección de objetos (YOLO) para la extracción de datos espaciales con el razonamiento simbólico de los LLMs para la formulación de ecuaciones, evitando la necesidad de entrenar modelos de regresión masivos para cada tipo de viga.
3. Herramienta Accesible: Desarrollo de una herramienta (PhotoBeamSolver) dirigida a estudiantes y profesionales para verificación rápida, reduciendo la dependencia de software costoso o interfaces complejas.
4. Análisis de Incertidumbre: Discusión crítica sobre la incertidumbre epistémica en modelos de aprendizaje profundo y la importancia de no confiar ciegamente en las probabilidades de salida (softmax) sin calibración, especialmente en aplicaciones de ingeniería.

4. Resultados

• Precisión de Detección: El modelo entrenado alcanzó un mAP (Mean Average Precision) superior a 0.93 en el conjunto de validación, con una precisión por clase consistentemente alta para soportes y tipos de carga.
• Consistencia Analítica: Las fuerzas de reacción y los diagramas internos (cortante, momento, deflexión) generados por el sistema se compararon con soluciones de referencia obtenidas mediante IndeterminateBeam. Las discrepancias numéricas se mantuvieron dentro de la precisión de la máquina para casos estáticamente determinados.
• Casos de Éxito: El sistema reconstruyó con éxito curvas de respuesta estructural clásicas a partir de diagramas de entrada.
• Limitaciones y Fallos: Los errores principales se deben a caligrafía ambigua, anotaciones superpuestas o referencias geométricas incompletas. El sistema actualmente no maneja cargas inclinadas (requieren descomposición manual), sistemas de celosía (trusses) o vigas inclinadas complejas.

5. Significado e Impacto

El trabajo de PhotoBeamSolver es significativo porque:

• Puente entre IA y Práctica de Ingeniería: Muestra cómo la IA puede ir más allá de la simple inspección visual (detectar grietas) para participar en el cálculo y diseño estructural.
• Educación y Verificación: Ofrece una herramienta poderosa para la educación en ingeniería civil, permitiendo a los estudiantes verificar sus soluciones de ejercicios manuales de manera inmediata.
• Dirección Futura: Identifica que la expansión hacia estructuras reales (no idealizadas) requiere superar desafíos mayores, como la inferencia de propiedades de materiales y códigos de diseño a partir de una sola imagen, lo cual implica un tratamiento probabilístico de la incertidumbre aún fuera del alcance actual.
• Accesibilidad: Propone un modelo donde la complejidad computacional se gestiona mediante la combinación de detección eficiente (YOLO) y razonamiento lógico (LLM), haciendo posible la automatización de tareas de análisis estructural básicas en entornos con recursos limitados.

En conclusión, el artículo valida que es posible unificar la interpretación estructural y la derivación analítica dentro de un sistema asistido por visión por computadora, estableciendo un precedente para herramientas de ingeniería más intuitivas y automatizadas.