From Intent to AI Pipelines: A Controlled Agentic Framework for Non-AI Expert Scientists

Resumo Técnico: Pipelines de IA Adaptáveis Orientadas a Domínio (DDAP)

Declaração do Problema

As pipelines de Inteligência Artificial (IA) tornaram-se essenciais para a pesquisa moderna em diversas áreas, incluindo ciências médicas, agricultura e ciências sociais. No entanto, o design e a implementação de sistemas de IA de ponta a ponta permanecem uma barreira significativa para cientistas não especialistas. Desenvolver soluções eficazes de IA exige expertise em múltiplos níveis: formular perguntas de pesquisa como tarefas de IA, preparação de dados, seleção e treinamento de modelos, e implantação. As soluções atuais apresentam limitações específicas:

• Plataformas de baixo código/sem código: Embora reduzam os pontos de entrada técnicos, frequentemente carecem de flexibilidade, adaptabilidade a restrições específicas de domínio e suporte ao ciclo de vida completo da pipeline.
• Uso direto de Modelos de Linguagem de Grande Escala (LLMs): Utilizar LLMs para gerar código a partir de descrições em linguagem natural enfrenta desafios relacionados à confiabilidade (produção de pipelines incompletas ou não reproduzíveis), adesão a restrições de domínio (por exemplo, requisitos regulatórios) e a alta carga cognitiva exigida de não especialistas para validar e depurar as saídas.
• Lacuna Metodológica: As ferramentas existentes não operacionalizam suficientemente a transição de descrições de problemas para fluxos de trabalho de aprendizado de máquina de uma forma acessível a não especialistas, mantendo ao mesmo tempo a reprodutibilidade e a transparência.

Metodologia: O Framework DDAP

Para abordar esses desafios, os autores propõem Pipelines de IA Adaptáveis Orientadas a Domínio (DDAP), um framework controlado, com intervenção humana e agêntico. O DDAP trata a construção de pipelines de IA como um problema de engenharia de software, sintetizando fluxos de trabalho executáveis a partir de intenções de alto nível de domínio sob incerteza. Em vez de depender de geração totalmente autônoma, o DDAP orquestra LLMs como agentes especializados dentro de um fluxo de trabalho em etapas.

O framework estrutura o processo de desenvolvimento em quatro etapas distintas, produzindo um conjunto de artefatos estruturados ($A = \{A_1, A_2, A_3, A_4\}$) que são persistidos e reutilizados entre as etapas:

1. Definição do Problema ($A_1$):

   • Objetivo: Extrair e estruturar a tarefa de IA em uma representação semi-formal.
   • Mecanismo: Um diálogo aberto onde o sistema perfila o domínio e o nível de expertise do pesquisador. Utiliza prompts baseados em funções, barreiras de segurança e raciocínio de cadeia de pensamento (CoT) para guiar o usuário na clarificação de objetivos, características de dados e restrições.
   • Saída: Um artefato de definição de problema estruturado.

2. Especificação do Ambiente de Computação ($A_2$):

   • Objetivo: Alinhar os requisitos do problema com recursos computacionais viáveis.
   • Mecanismo: O orquestrador reutiliza a definição do problema para contextualizar os prompts, extraindo detalhes sobre localização do ambiente (local/nuvem), aceleradores (GPUs/TPUs), armazenamento e orçamento.
   • Saída: Um artefato de especificação de ambiente de computação.

3. Geração da Pipeline ($A_3$):

   • Objetivo: Gerar especificações estruturadas de pipeline de IA.
   • Mecanismo: Esta etapa é decomposta em dois passos: (1) geração de estratégias de pré-processamento candidatas e (2) geração de designs completos de pipeline. O framework gera cinco candidatos de pipeline alternativos por tarefa para mitigar a natureza probabilística dos LLMs. Emprega Geração Aumentada por Recuperação (RAG), CoT e barreiras de segurança para garantir que os designs estejam alinhados com os requisitos de domínio e restrições de recursos.
   • Saída: Múltiplos artefatos de especificação de pipeline alternativos com prós e contras.

4. Geração de Código ($A_4$):

   • Objetivo: Traduzir especificações de pipeline selecionadas em código executável (por exemplo, PyTorch, TensorFlow).
   • Mecanismo: LLMs orientados a código (por exemplo, Code Llama) são utilizados com prompts aumentados por artefatos de etapas anteriores. Um mecanismo opcional de reparação de código é incluído, onde o orquestrador alimenta mensagens de erro de volta ao LLM para identificar e corrigir erros sintáticos ou de tempo de execução sem depuração manual.
   • Saída: Código de implementação executável.

O framework depende de um Orquestrador de Pipeline central que gerencia o ciclo de interação, garantindo rastreabilidade e mantendo a lógica de controle durante todo o processo.

Contribuições Principais

O artigo delineia quatro contribuições primárias:

1. Formulação Orientada a Artefatos: Modela a construção de pipelines como um processo de síntese em etapas que transforma intenções de alto nível em artefatos executáveis, indo além das abordagens de AutoML que dependem exclusivamente da busca por componentes predefinidos.
2. Framework Agêntico Controlado: Diferentemente de modelos estáticos de baixo código, o DDAP adapta-se dinamicamente ao contexto de domínio, expertise do usuário e restrições de recursos por meio de interação guiada e refinamento em etapas.
3. Fluxo de Trabalho Multi-etapa Orquestrado: Decompõe a geração de pipelines em etapas coordenadas com reutilização explícita de artefatos e lógica de controle, melhorando a reprodutibilidade e o controle do usuário em comparação com prompts únicos de LLM.
4. Avaliação Empírica: Demonstra que o DDAP pode gerar pipelines de IA competitivos em uma única passagem (sem otimização iterativa) em múltiplos domínios, identificando explicitamente limitações em tarefas complexas como agrupamento textual.

Resultados Experimentais

Os autores avaliaram o DDAP em seis experimentos abrangendo biologia, negócios e ciências da saúde, comparando os modelos gerados pelo DDAP contra baselines desenvolvidas por especialistas da literatura existente.

• Desempenho Competitivo: Em várias tarefas, o DDAP alcançou resultados comparáveis ou superiores aos modelos especialistas sem ajuste iterativo de hiperparâmetros.

  • Telemonitoramento de Parkinson (Regressão): O modelo de ensemble do DDAP alcançou um Erro Absoluto Médio (MAE) de 0,30 (Motor UPDRS) e 2,66 (Total UPDRS), superando a baseline especialista (4,5 e 6,0, respectivamente).
  • Previsão do Mercado de Ações (Regressão/Classificação): O DDAP alcançou 79,44% de precisão, superando a baseline especialista de 68%.
  • Classificação de Produtos (Texto): O DDAP alcançou 96,83% de precisão de validação, excedendo a baseline especialista de 95%.
  • Classificação de Pragas do Juta (Imagem): O DDAP alcançou uma pontuação F1 de 0,94, ligeiramente abaixo da baseline especialista de 0,97, mas demonstrando forte capacidade em uma única passagem.
  • Classificação de Materiais Resíduos (Imagem): O DDAP alcançou 84% de pontuação F1, competitivo com a baseline especialista de 90%.
  • Segmentação de Clientes (Agrupamento): O DDAP gerou segmentos significativos baseados em RFM com uma Pontuação Silhueta de 0,53, alinhando-se com distinções comportamentais orientadas por especialistas.

• Limitações: O framework apresentou lacunas significativas de desempenho em tarefas de agrupamento baseadas em texto. Para a tarefa de agrupamento de produtos, a melhor pontuação F1 do DDAP foi de 0,001, drasticamente inferior à baseline especialista de 0,59. Os autores atribuem isso à necessidade de aprendizado de representação mais avançado e estratégias de otimização iterativa para dados textuais complexos.

Significado e Alegações

O artigo afirma que o DDAP demonstra a viabilidade de um framework agêntico controlado para democratizar o desenvolvimento de IA. Ao combinar interação guiada, adaptabilidade e reprodutibilidade, o framework permite que usuários não especialistas gerem pipelines de IA competitivos.

O significado do trabalho reside em sua capacidade de preencher a lacuna entre acessibilidade e rigor técnico. Não alega substituir totalmente a intervenção de especialistas, mas sim fornecer um caminho estruturado e orientado a artefatos que reduz a barreira de entrada, mantendo o alinhamento com princípios de engenharia de software (modularidade, separação de preocupações). Os autores posicionam o DDAP como uma unificação da acessibilidade de baixo código/sem código, da geração estruturada do AutoML e da adaptabilidade contextual dos LLMs, oferecendo uma alternativa reproduzível ao código gerado por LLMs ad hoc e frágil. O framework é apresentado como um passo para tornar o desenvolvimento de IA mais acessível, adaptável e reproduzível em diversas disciplinas científicas.