Fin-Analyst at FinMMEval 2026 Task 3: A Live Hybrid Trading Agent with LLM Specialists and Rule-Based Signals
Fin-Analyst, een hybride handelsagent met een acht-specialisten LLM-pipeline voor Tesla en een regelgebaseerd signaalsysteem voor Bitcoin, behaalde de hoogste ranglijst op de FinMMEval 2026 Task 3 leaderboard met een rendement van 13,51%, waarmee de superioriteit van event-gestuurde LLM-analyse boven geheugenloze modellen en vaste drempelwaarden werd aangetoond, terwijl tegelijkertijd de volatiliteitsgevoeligheid van korte-termijn live handelsevaluaties werd benadrukt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een kleine, razendsnelle handelszaak runt in een chaotische digitale marktplaats. Je hebt twee klanten: de een is Tesla (TSLA), een aandeel dat beweegt als een achtbaan, en de ander is Bitcoin (BTC), een digitale munt die schommelt als een pendel. Je doel? Te raden of ze morgen omhoog of omlaag gaan en winst te maken.
Maak kennis met Fin-Analyst, een nieuwe robothandelaar gebouwd voor een live wedstrijd genaamd FinMMEval 2026. In plaats van slechts één brein, is Fin-Analyst een team van specialisten die samenwerken, maar het behandelt zijn twee klanten heel verschillend.
Het Tweeledige Team
Voor Tesla (Het LLM-Squad):
Beschouw Tesla als een beroemdheid die constant in het nieuws is. Om de volgende beweging te voorspellen, huurt Fin-Analyst acht verschillende experts in, elk met een specifieke taak:
- De Nieuwsverslaving: Leest de koppen van vandaag.
- De Juridische Adelaar: Scant officiële overheidsdocumenten (zoals de 8-K, 10-Q en 10-K formulieren).
- De Accountant: Controleert de financiële gezondheid van het bedrijf.
- De Wall Street Watcher: Leest wat andere analisten voorspellen.
- De Tech Guru: Bekijkt grafieken en technische patronen.
- De Sociale Vlinder: Leest wat mensen op sociale media roepen.
- De Event Tracker: Houdt plotselinge, prijsgevoelige aankondigingen in de gaten.
- De Kwartaalrapporteur: Richt zich op seizoensgebonden financiële rapporten.
Al deze acht experts praten met een Meta-Agent (de teamkapitein). De kapitein luistert naar iedereen, maar als het nieuws van vandaag super luidruchtig en zelfverzekerd is, kan de kapitein de anderen negeren en gewoon het nieuws volgen. Dit hele team wordt aangedreven door een Large Language Model (LLM), wat een soort superintelligente robot is die tekst kan lezen en begrijpen.
Voor Bitcoin (De Regelgebaseerde Trio):
Bitcoin wordt anders behandeld. In plaats van een team van acht, gebruikt Fin-Analyst een eenvoudige stemhokjes met drie personen en strikte regels:
- De Trend Spotter: Controleert of de prijs onlangs omhoog of omlaag is gegaan.
- De Fear & Greed Meter: Kijkt naar een beroemde "stemindex" voor crypto. Als mensen in "Extreme Greed" (extreme hebzucht) zijn, verkoopt de robot; als er "Extreme Fear" (extreme angst) is, koopt hij.
- De Momentum Coach: Volgt een label dat aangeeft of de markt bullish of bearish is.
Als twee mensen "Kopen" stemmen en één zegt "Verkopen", dan koopt de robot. Als er een gelijkspel is, breekt de "Fear & Greed"-meter de beslissing. Dit deel van het systeem gebruikt geen fancy AI-brein; het volgt gewoon een checklist.
De Resultaten van de Live Race
Het team testte dit systeem in een live, real-money simulatie (niet alleen een videogame) van mei tot juni 2026. Dit is wat er gebeurde:
- Tesla: Het team van acht experts verpletterde de concurrentie. Ze maakten een rendement van +13,51%, waarmee ze de "Buy-and-Hold"-strategie (waarbij je gewoon niets doet en afwacht) met een enorme marge van +28,33 punten versloegen. Ze waren zo goed dat ze op de 1e plaats kwamen te staan van alle agenten in de wedstrijd. Hun "Sharpe Ratio" (een score voor hoeveel risico ze namen voor hun beloning) was een enorme 4,10, en ze wonnen 88% van hun trades.
- Bitcoin: Het eenvoudige regelgebaseerde team deed het wel oké, maar niet geweldig. Ze eindigden met een rendement van -5,30%, wat slecht klinkt, maar onthoud: de "Buy-and-Hold"-strategie voor Bitcoin verloor tijdens dezelfde periode ongeveer 26%! De robot heeft de eigenaar dus eigenlijk behoed voor een enorme crash en eindigde +17,63 punten voor op de passieve strategie. Toch eindigde het op de 13e plaats in het algemeen klassement.
De Plot Twist:
Hier komt het lastige gedeelte: toen de onderzoekers begin juni voor het eerst op het scorebord keken, liep de Bitcoin-robot voorop en stond het Tesla-team nauwelijks break-even. Maar tegen het einde van de wedstrijd in eind juni waren de ranglijsten volledig omgedraaid. Het Tesla-team haalde een late rally binnen en won goud, terwijl de voorsprong van de Bitcoin-robot vervaagde. Dit suggereert dat in korte, wilde markten de ranglijsten snel kunnen veranderen, en dat je niet zeker weet wie echt de beste is door alleen naar een momentopname te kijken.
Wat Werkte en Wat Niet
De onderzoekers voerden een "operatie" uit op het Tesla-team om te zien welke expert het belangrijkst was. Ze zetten elke specialist één voor één uit:
- De Juridische Adelaar (8-K filings) was de MVP. Toen zij deze expert verwijderden, daalde de prestatie van het team het meest. Dit suggereert dat plotselinge, officiële bedrijfsaankondigingen de grootste drijfveren zijn voor de prijs van Tesla.
- De Kwartaalrapporteur (10-K) en de Accountant werkten het team zelfs enigszialijk tegen. Het lijkt erop dat het dagelijks bekijken van jaarverslagen te veel ruis toevoegt en de robot in verwarring brengt.
- Het Dagelijkse Nieuws was ook cruciaal. Zonder dit had het team het zwaar gehad.
Voor Bitcoin werkten de eenvoudige regels goed wanneer de markt instortte (de robot wist vroegtijdig te verkopen), maar ze faalden wanneer de markt zijwaarts bewoog. De robot bleef zijn stem heen en weer laten schommelen door kleine, willekeurige prijsschommelingen, waardoor hij geld verloor aan "ruis".
De Zwaktes van de Robot
Hoewel het Tesla-team won, is de auteur eerlijk over de gebreken:
- Geen Geheugen: De robot heeft amnesie. Elke ochtend wordt hij wakker zonder geheugen van de fouten van gisteren. Als hij maandag een fout maakte, kan hij dinsdag weer dezelfde fout maken, waardoor hij dagenlang dezelfde fout herhaalt.
- Starre Regels: De Bitcoin-robot gebruikt vaste getallen (zoals "verkoop als de prijs met 0,5% daalt"). In een krankzinnige markt passen deze getallen zich niet aan, waardoor de robot te veel handelt op willekeurige ruis.
- Klein Brein: Ze gebruikten een kleiner, goedkoper AI-model (gpt-4o-mini) om kosten te besparen. Ze vermoeden dat een groter, slimmer model nog beter zou hebben gepresteerd.
Het Oordeel
Het paper suggereert dat het gebruik van een team van AI-specialisten om nieuws en documenten te lezen een krachtige manier is om aandelen zoals Tesla te verhandelen, vooral wanneer je focust op actueel nieuws en officiële documenten. Echter, voor Bitcoin kunnen eenvoudige regels je beschermen tegen grote crashes, maar ze worstelen in rustige markten.
De auteurs concluderen dat dit pas het begin is. Om nog beter te worden, zullen toekomstige robots een geheugen moeten hebben voor hun eigen fouten, grotere breinen moeten gebruiken, en misschien zelfs moeten zorgen dat de verschillende experts met elkaar in debat gaan voordat ze een beslissing nemen. Voor nu bewijst Fin-Analyst dat een hybride aanpak—het mixen van slimme AI voor aandelen en eenvoudige regels voor crypto—beter kan presteren dan simpelweg afwachten, zelfs in een korte, volatiele race.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.